京东首个自建数据中心是位于宿迁的京东云华东数据中心。由4个模块和1个综合楼组成，总占地面积近6万平方米，总投资30亿元。可提供20万台服务器的安装运行能力，存储容量不低于32EB，计算能力不低于128petaflops/s。作为京东的标杆项目之一，京东CTO张晨曾多次在行业会议上表示：“宿迁自建数据中心全生命周期采用绿色技术。从最初的概念设计到建设，再到后期数据中心的运营管理，确保数据中心年均PUE≤1.3（实测），达到华东地区领先水平。”接下来，我们将揭秘京东自建数据中心的核心技术，通过《基础设施篇》和《数据中心运营篇》，揭开其创新技术的神秘面纱。制冷系统技术创新随着数据中心需求和规模的不断扩大，建设成本和运营成本必然成为企业的考量指标。数据中心不仅消耗大量电力，还消耗大量冷却。据统计，数据中心空调系统的能耗一般占总能耗的20%-40%左右，制冷压缩机的能耗占空气总能耗的70%-90%-调节系统。降低空调制冷系统的能耗将是提高数据中心能源利用率最直接有效的措施。因此，利用自然冷源解决数据中心散热问题成为京东自建数据中心创新技术的核心考量之一。Freecooling自然冷却系统京东自建数据中心位于江苏宿迁，全年大部分时间气温在-5~35℃之间。水资源丰富，属暖温带季风气候区。年平均气温14.2℃，四季分明，初霜期一般在10月下旬。与严寒地区相比，室外设备不易被冻坏，室外自然冷源条件相对充足。为充分利用室外自然冷源进行冬季自然降温，冷冻水系统配置水-水不锈钢板式换热器，与冷水机组并联。系统冷冻水供水温度设计为10℃。在实际运行中，可以通过提高水温来提高系统的整体效率，延长自然冷却时间。实际运行中，当室外日平均温度低于10度连续5天以上时，冷冻水系统切换到自然冷却系统，当室外日平均温度高于10度连续5天以上时开始退出。.全年基本可分为自然降温季和正常降温季。京东IDC建设部技术专家黄义飚表示：“我们在传统Freecooling技术的基础上，增加了一套自主设计的气候环境采集和控制系统，我们称之为‘平滑连续调节’Freecooling技术.运用该技术，制冷系统充分实现了根据室内外环境温度、湿度、系统负荷对各部件运行状态进行平滑连续调节，使系统始终保持在最佳效率范围内。而自然冷源全年“免费”使用时间可达180多天，直接节省电费逾百万元。制冷系统制冷系统是数据中心的重要组成部分，负责为数据中心提供可靠的生产环境。京东宿迁自建数据中心采用三级压缩式冷水机组，配合水泵、冷却塔变频控制，带来良好的节能效果。制冷设备采用4台水冷离心式冷水机组，3+1配备。压缩机的形式为三级离心式。三级压缩具有转速低、运行平稳、低负荷工况好等特点，增加了机组冷量的调节范围。与不带省煤器的冷水机组相比，同等制冷条件下节电可达8-10%。冷冻水系统设计供回水温度为10~16℃，主要设备采用N+1冗余设备，保证系统不会因某台设备故障而受到影响。整个水系统管路采用环形管路，设备间设置双联阀门，保证系统的可用性。还配备在线冷库，可为系统提供15分钟不间断的备用冷源。空调制冷系统的整体设计满足并超过了UptimeTierIII的要求。空调制冷系统由冷源系统、管路系统、终端空调系统及辅助系统等组成，数据中心专门配备了制冷机房。空调末端系统位于京东宿迁自建数据中心一期模块。主机房活动地板高度为1.2米。这种较高的架空层有利于空气静压的形成，使通风地板的出口风速稳定。同时也为地下保温层和管线的检修提供了较大的空间。针对不同负载的机柜，可调整通风底板的开口面积，以分配冷量。机柜采用封闭式冷通道形式，使空调的送风和制冷效率更高。每个机房模块配备独立的直膨式新风机组。室外新风经一、二效过滤，降温后送至机房，保证机房正压要求。主机房、变电站配电房、电池房、UPS配电房等全部采用水冷精密空调，并采用N+1配置方式。精密空调均采用“UPS+市电”双路供电，UPS电源为主电源。为避免大量空调同时启动对电网的影响，空调采用延时策略。京东IDC建设团队为中选的精密空调采用了节能设计的产品，包括：空调EC风机叶轮采用航空级新型工程复合材料，重量更轻，强度更高，更节能；送风量与冷负荷成正比设定，满足不断变化的外界冷负荷，降低风机功耗，进一步实现节能；优化气流通道，扩大回风过滤面积，降低内部压力，降低风机功耗；机组为超大面积换热器，风机模块安装在活动地板下方，更好地利用机组内部空间；精密空调内置带水处理系统的电极式加湿器，自动检测并去除加湿槽中的杂质含量，减少氧化结垢现象。高可靠技术保障京东自建宿迁数据中心。核心目标之一是充分保证负载功耗的高可靠性。服务器电源是整个数据中心供配电系统建设的重点。了解服务器电源的相关特性，对于数据中心供配电系统的建设具有重要意义。充分了解服务器供电容量、冗余方式、散热要求、能效设计等主要指标对于数据中心供配电系统的设计是非常必要的。服务器冗余供电系统归根结底还是要归功于双电源系统。如果双电源服务器的每个电源都可以通过独立的供电路径由独立的电源供电，则可以获得最高的可靠性。市电专线供电系统保障，京东专属110KV开关站的建立是实现高可靠性目标的绝佳途径。110KV开关站毗邻京东宿迁自建数据中心园区，其上层来自两条不同的220KV变电站专线。110KV开关站内安装两台变压器，容量满足整个数据中心园区的最大用电量。当两台变压器中的任何一台发生检修或故障时，另一台完全满足园区所有设备的正常用电需求。京东数据中心自建变电站机房内所有电子信息设备均采用UPS供电。2个生产机房和2个网络机房供电方式为2N，其余6个生产机房供电方式为N+1。辅助设备供电采用“UPS+市电”供电方式，单台UPS后备电池支持时间不低于15分钟。当一个市电电源出现故障时，故障电路的负载自动切换到另一电路。即使两路市电出现故障，机房模块内的负载由UPS蓄电池供电，同时启动备用柴油发电机组为机房模块、空调冷源、照明和其他负载。备用柴油发电系统如果市电出现故障，数据中心的发电系统将自动投入运行，并与市电自动切换。并在限定时间内启动发电机组，保证重要负载的应急供电。油箱储油量可满足发电机组在无外接支持的情况下连续运行12小时以上，并有应急供油协议作为后续可靠保障。当任何一套油路系统PLC控制出现故障时，会自动切换到另一套PLC控制系统，确保系统供油的可靠性。市电恢复时，经人工确认后，手动恢复市电供电。京东宿迁自建数据中心，发电系统全部采用进口一线品牌柴油发电机设备，启动性能好。配备发动机缸套水加热装置，确保系统在低温下的快速启动和加载能力。机组可承受75%的突加负荷，确保机组快速启动后能快速带载。并机主控系统的冗余设计有效提高了并机系统的可靠性。发电机配备防潮加热器，防止因空气湿度过大导致发电机绝缘性能下降而带来的安全隐患。供油储油系统独立设置在每个数据中心模块内，物理隔离。每个模块配备两个25立方米的埋地式柴油储罐，每个柴油罐配备两台供油泵，一用一备，两罐之间设有排油泵。储油罐区与机房日常油罐之间的输油管路为双回路设计，具有在线维护和容错能力。非晶合金变压器在宿迁自建数据中心项目中，IDC建设团队选择使用非晶合金变压器。它不仅具有普通干式变压器在阻燃、自熄、防潮、抗裂方面的优良性能，而且具有优良的导磁性能。是的，退磁和充磁的过程非常容易完成。有利于减少损失，增加有效载荷，提高效率。与普通干式变压器技术参数相比，空载损耗降低65%-70%，节能效果十分显着。智能照明系统京东宿迁自建数据中心，所有主机房均采用了分布式照明智能控制系统。当有人进入机房时，系统会根据感应打开该区域的灯，当人离开时，灯会根据设定的延时时间自动关闭。当无人进入机房时，灯具能满足运维监控的最低亮度，达到节能和自动控制的目的。实验技术创新——6sigma仿真京东IDC建设部首席技术专家、首席技术专家张静谈京东宿迁二期自建IDC建设团队引进的越来越多前沿实验项目搭建数据中心，包括：“利用6sigma做CFD气流模拟计算，了解IDC模块内的气流组织和温度分布，根据服务器不同的负载状态计算温升和变化。”“通过数学模型的建立和6sigmaCFD系统的验证，在保证服务器处于相同负载状态和满载状态，且服务器实际功耗不增加的前提下，逐步增加运行服务器温度，即数据中心模块内的环境温度。”张静还表示：“同时，根据数学计算和CFD模拟验证的结果，我们将在二期实验模块中引入一些更加节能的冷却技术。”京东IT资源服务部负责人吕科认为：“数据中心行业是一个科技含量非常高的服务行业，提供安全的场所、持续的电力、适宜的环境、稳定的网络和专业的运维。为企业大量的电子信息设备服务。”“这些表面看似简单的条件，背后却需要庞大复杂的综合体系来支撑。在人工智能、无人机、云计算等前沿技术领域，京东不断推出场景应用提升亿万用户的购物体验，是基于我们数据中心服务不断的技术创新。”“数据中心安全可靠性的不断提升，永远为推广、上线应用、稳定运行保驾护航这些创新技术。”
