液冷相比传统风冷有几个公认的优势，比如节能。然而，投资成本被视为其部署的常见障碍。在本文中，我们首先论证了在一个总容量为2MW的数据中心，当机架功率密度为10kW时，使用传统风冷与基于IT机箱的浸没式液冷相比，初始投资大致相等。由于液冷技术的主要优点是可以高密紧凑部署，我们量化比较了在采用相同液冷技术的数据中心部署液冷20kW/机柜和40kW/机柜的投资成本差异。容量。结果表明，与传统风冷相比，使用液冷分别节省了10%和14%的投资成本。1.简介在IT设备中使用液体冷却并不新鲜。它已经在市场上存在了几十年。但在过去，此类解决方案往往出现在相对小众的应用中，例如高性能计算(HPC)和游戏。但是今天，有一些重要的趋势和驱动因素正在使液体冷却成为越来越多的主流IT用户首选的冷却解决方案。与传统的空气冷却相比，液体冷却具有一些明显的优势。其中包括：减少对水的需求——在水资源紧张的地区，地方政府继续对数据中心行业施加压力。风冷使用大量的水进行蒸发冷却，通常可以达到小于1.2的PUE。节省空间——液体冷却可以显着减少IT系统的占地面积，使企业能够在全球更多地点部署IT系统，包括亚洲等一些空间受限的地区。节能–TheGreenGrid发布的一份能源影响报告显示，液体冷却的能源效率提高可节省48%的能源。然而，人们对液体冷却的资本成本知之甚少，并且经常被认为是阻碍其部署的常见障碍。在本文中，我们分析了总容量为2MW的数据中心的传统风冷（风冷冷冻水机组）和液冷（基于IT机箱的浸没式液冷）之间的成本差异。我们将介绍不同功率密度下的液冷技术选项，以展示对成本的影响。图1显示了初始投资分析的结果。分析表明，对于相同的功率密度（10kW/rack），风冷和液冷数据中心的资金成本大致相当。但如前所述，液冷还可以实现IT系统的压缩，可以节省初期投资。与传统数据中心每机柜10kW相比，功率密度提高2倍（每机柜20kW）可减少10%的初期投资。如果功率密度提高4倍（每机架40kW），投资成本最多可节省14%。图1投资成本概览下面详细描述比较架构，描述分析所用的方法、假设和数据，并使用瀑布图逐项比较指出成本差异的来源.2.风冷架构此投资成本分析的基准案例是使用风冷冷水机的数据中心。该架构具有以下特点：冗余风冷冷冻水机组冗余水泵和管道用于IT机房和基础设施空间的冗余冷冻水精密空调(CRAH)通过风管连接到精密空调热通道气流遏制无高架地板This选择架构作为比较基准是因为它是一种具有成本效益的设计，并且在大中型数据中心中很常见。图2是架构的整体示意图。图2风冷架构3.液冷架构在本次分析中，我们选择了基于IT机箱的浸没式液冷，因为它适用于常见的数据中心机架架构，几乎所有的热量都可以通过液体传递。图3是这种液冷方式的整体示意图。图3.基于IT机箱的浸没式液冷基于IT机箱的浸没式液冷可以大大简化基础设施架构，因为IT设备可以用温水冷却。我们假设入口温度为40°C(104°F)，这在许多气候条件下允许100%自然冷却。图4是用于分析的架构的整体示意图。图4液冷架构在该架构中，虽然大部分热量通过温水循环管路排出，但配电室仍需要辅助降温，同时需要传递IT设备的热量。温水不能完全处理。这使环境中的空气温度保持在人体舒适的温度，并确保不超过电池和断路器等设备正常运行的环境温度。4.相同密度下的投资成本分析我们首先分析了单机柜功率密度为10kW、总容量为2MW的数据中心的风冷和液冷架构的成本差异。表1列出了用于架构比较的主要假设。表1中的架构假设服务器风扇的能耗占服务器总能耗的9%，这是一个相对保守的数值。实测风扇能耗为15-20%，尤其是在GPU等高密度计算设备上。在展示结果之前，我们需要解决两个重要的考虑因素，因为它们(1)影响进行系统比较的能力，以及(2)可以解释新兴液体冷却技术的成本假设。标准化数据中心每瓦成本——数据中心建设成本通常以每瓦IT容量表示。例如，如果一个数据中心可以承载高达2兆瓦的IT负载并且建造成本为2000万美元，则它的成本为10美元/瓦。成本可能因冗余或架构而有很大差异。在比较风冷架构和液冷架构时，我们在计算每瓦IT成本时遇到了一个难题。对于相同的计算能力，液体冷却具有较低的总IT负载。因为在相同的IT计算负载下，风冷服务器内部的IT风扇比基于IT机箱浸没式冷却方式的内部微型水泵耗电更多。为了弥补这一点，我们将IT负载定义为“没有冷却的服务器容量”，并在我们的每瓦成本计算中使用它作为分母。这可以从我们的假设（表1）和风冷和基于IT机柜的浸没式冷却的总IT设计容量中看出。基于IT机箱的浸没式液冷的成本假设——对于这种液冷架构，为了部署液冷，相关的技术和成本支出被添加到IT设备中。出于分析目的，我们汇总了服务器和机架内产生的所有成本。这包括：绝缘液、微型泵、管道、热交换器、液体冷却散热器、防滴漏连接器、密封外壳和机架安装分配器。请注意，对于机箱级浸入式液冷，可以节省风冷散热器和风扇的成本，因此本研究中的成本差异是假设的差异。基于机箱的浸没式液冷技术尚未完全成熟，因此一次性计算验证的成本与优化供应链后的未来成本相差很大。我们对这些成本进行了敏感性分析，估计高价约为1.10美元/瓦，低价约为0.50美元/瓦。对于本研究，我们选择10kW/机架的成本为0.77美元/瓦，这是任何大规模部署都可以实现的保守值。请注意，此值将随着密度从每机架10kW的基准增加而增加。我们的研究考虑了成本节约，例如随着空间缩小，每个kWIT的机架分配器和机柜数量减少。结果许多关于液体冷却的成本研究都考虑了总拥有成本和成本压缩的一些因素。这使得很难看出初始成本节省或成本变化发生在何处。本研究仅针对初始投资。首先研究相同机柜功率密度下的投资成本，然后比较密度增加后的其他两种投资成本情况。图5中的瀑布图显示了成本的主要类别及其变化。成本包括设备、安装、设计和项目成本。研究表明，在每个机架10kW的机架密度下，100%机箱浸没式液冷数据中心的成本与传统风冷数据中心大致相同。图5风冷和液冷数据中心的每瓦成本差异（均为每机架10kW）冷冻水机组/冷冻水精密空调-节省0.91美元/瓦。这意味着拆除风冷冷冻水机组和冷冻水精密空调(CRAH)。液体冷却技术——成本增加了0.77美元/瓦。这种额外成本是服务器和机架成本的增加。如前所述，这包括密封外壳、绝缘液、液体冷却散热器、管道、微型泵、热交换器、防滴漏连接器和机架安装分配器。干式冷却器和风冷精密空调——成本增加0.31美元/瓦。这种架构允许在没有压缩机的情况下将热量直接排放到干式冷却器。增加成本的设备包括N+1冗余干式冷却器，以及额外的风冷直扩机房精密空调(CRAC)，以去除温水无法带走的热量。请注意，这里也可以使用其他架构，例如减少冷冻水机组的容量和使用冷冻水精密空调，这可以为大型基础设施环境带来更多好处。更换泵和管道-成本增加0.03美元/瓦。由于用温水管道更换冷却水(CW)管道，液冷服务器的成本略有增加。多出来的管路是因为需要把每排柜子的管路下沉到每个柜子里，加上阀门。这部分成本的增加几乎等于管道保温成本的节省。液体冷却的优点是许多管道不需要绝缘。在40°C(104°F)的水温下，很少或没有冷凝。水泵系统N+1冗余，水回路设计用于部分机柜维护。熟悉液体冷却系统的读者可能会注意到我们没有提到“CDU”。冷却剂分配单元(CDU)是一种将设施冷却系统(FCS)与技术冷却系统(TCS)分开的设备，后者为机架供水。CDU执行多种功能，例如：确保送至机架的水具有正确的化学成分和清洁度标准。这对于许多冷板部署以及设施冷却系统质量较差的情况非常重要。在混合设施中，通过连接冷却水回路为机架提供温水回路。保持比设施冷却系统更低的水压，这在多级管道系统中尤为重要。CDU在电气设计上类似于变压器，可以将上述两个系统分开用于多种用途。冷却液分配单元(CDU)不包含在我们的架构中，因为它的布局是单层设计，水回路专用于液体冷却系统，底盘浸入式热交换器非常坚固，可以接受市政水质。根据经验，冷却剂分配装置每瓦的投资成本将增加0.10至0.20美元。减少UPS和开关设备容量-节省0.14美元/瓦。安装冷却系统和精密空调的需要会降低开关设备的冷却能力。此外，由于IT风扇被微型泵取代，IT负载使用的功率略有减少，因此需要相应减少UPS和电池。节省空间、机架和密闭空间——节省0.10美元/瓦。虽然没有压缩IT空白空间，但通过减少冷却系统和UPS系统的开关设备，节省了设备安装空间。节省的费用还包括与空间相关的其他相关费用，例如灭火器、照明等。此外，液冷不需要任何气流遏制系统，因此其投资成本可以忽略不计。5.提高功率密度的影响我们在概述中提到，液冷的公认优势之一是能够压缩IT设备容量并节省空间。但是，除了节省空间之外，这种压缩还可以减少IT机架和机架PDU的数量。在本节中，我们计算了2倍和4倍功率密度数据中心在IT机箱使用浸没式液体冷却时的总资本成本，并将这些方案与我们之前描述的10kW风冷数据中心的基线功率密度进行了比较架子。以这种压缩为前提，表2列出了有关机架功率密度和机架数量的新假设。所有其他假设与表1中的原始液体冷却方案相同。表2假设变量随着压缩方案而变化，功率密度加倍后的研究结论我们首先从功率密度加倍开始分析，这意味着液冷架构的每机柜功率密度为20kW，而风冷架构的功率密度为每机柜10kW。图6显示了实现10%的投资成本节约。图6.风冷数据中心和液冷数据中心之间的每瓦成本差异。液冷后功率密度翻倍（每机柜20kW）冷水机组/冷冻水精密空调——节省$0.91/W。节省量与每机架10kW的情况相同，并且取消了冷冻水冷水机组和冷冻水精密空调机组。液体冷却技术-成本增加0.71美元/瓦。与每机架10kW的方案相比，成本增加较小。当机架密度增加时，成本会降低，因为需要更少的机架分配器。干式冷却器和风冷精密空调——成本增加0.31美元/瓦。这与每机架10kW时的情况相同，因为总IT负载和相关损耗是相同的。更换泵和管道-节省0.03美元/瓦。虽然与风冷系统相比，每排机柜都需要配管，但随着IT空间的缩小和机柜功率密度kW值的增加，与10kW单机柜方案相比，所需配管和阀门有所减少。请注意，通常管道直径随着密度的增加而增加，但管道之间的价格差异并不像机架数量的减少那样明显。减少UPS和开关设备容量-节省0.14美元/瓦。这与10kW场景相同，因为机架密度不会影响UPS和开关设备的容量。节省空间、机架和密封—节省0.63美元/瓦。显着的成本节省包括建筑围护结构节省、机架和机架PDU数量减少以及机架上支持布线的结构减少。由于减少了IT空间，消防和照明相关成本也得以节省。功率密度提升4倍的研究结论接下来我们比较液冷架构功率密度提升4倍后的成本，即40kW/rack，风冷10kW/rack。随着功率密度的增加，投资成本的节省也随之增加。图7显示资本支出节省了14%。图7.风冷数据中心和液冷数据中心的每瓦成本差异。液体冷却将功率密度提高4倍（每机架40kW）后，通过进一步压缩实现的节省大部分来自两个方面。机架规模的液体冷却成本较低，并且减少IT空间可降低相关成本。冷却器/冷冻水精密空调–$节省0.91美元/瓦。节省量与每机柜10kW和每机柜20kW场景相同，并且取消了冷冻水冷水机组和冷冻水精密空调机组。液体冷却技术-增加成本0.68美元/瓦。与每机架20kW方案相比，成本增加较小。当机架功率密度增加时，此成本会降低。需要更少的机架分配器，从而降低了该类别的每瓦总成本。干式冷却器和风冷精密空调——成本增加0.31美元/瓦。这与每个机架10kW和每个机架20kW的情况相同，因为总IT负载和相关损耗完全相同。更换泵和管道-节省0.04美元/瓦。与每机架20kW的方案相比，节省的电量略有增加，因为需要的IT空间更少，因此需要浇水的机架也更少。减少UPS和开关设备容量-节省0.14美元/瓦。这与每机架10kW和每机架20kW的情况相同。节省空间、机架和密封—节省0.90美元/瓦。与20kW/机架设计相比，额外节省0.27美元/W。显着的成本节省包括建筑围护结构节省、机架和机架PDU数量减少以及机架上支持布线的结构减少。由于减少了IT空间，还节省了与消防和照明相关的成本。6.结论液体冷却已经存在多年，但最近被越来越多的主流数据中心应用所采用。虽然这种模式在节能方面优势明显，但仍有人担心其投资成本。本文分析了在相同机柜密度下部署基于IT机箱的浸没式液冷与风冷系统大致相同的投资成本，以及将IT设备（和机柜）的功率密度提高四倍时可以节省多少成本)高达成本的14%。虽然基于IT机柜的浸入式液体冷却技术还不是成熟的技术，但这些成本优势预示着近期的大规模部署。随着液体冷却技术和制造效率的提高，预计该模型将进一步节省成本。
