互联网连接着全球超过40亿用户，支撑着VR/AR、16K视频、自动驾驶、人工智能、5G、物联网等无穷无尽的数字应用。教育、医疗、办公等线上线下用户的结合正在影响和改变着人们生活的方方面面。数据中心网络作为互联网业务生存和发展的基础设施，已经从最初的千兆、10G网络进入“25G接入+100G互联”规模部署阶段。100G互联：全盒架构被大型互联网公司看重。在“25G接入+100G互联”架构下，数据中心网络通过三级组网实现大规模接入，单台集群服务器规模可达10万台以上。如下图所示，基于T1和T2层的Pod可以像乐高积木一样灵活扩展，按需搭建。图1：右侧引用自https://techblog.comsoc.org/2019/03/18/facebooks-f16-achieves-400g-effective-intra-dc-speeds-using-100ge-fabric-switches-and-100g-optics-other-hyperscalers/随着大容量转发芯片能力的提升和100G光互连成本的降低，单芯片交换机设备的100G互连全盒设备组网方案已经出现市场。这种单芯片多平面互联方案的典型代表是12.8T芯片。单颗芯片可提供128x100G的端口密度，单颗POD可提供2000台服务器的接入能力。图2：典型的128口100GE高密盒式交换机全盒式设备组网方案。与传统的box-box设备方案相比，虽然网络节点数量和设备间光互连模块数量有所增加，但运维工作量有所增加。但由于引入了高性能转发芯片，有效降低了数据中心网口每比特的成本，对大型互联网公司极具吸引力。一方面，大型互联网企业迅速推出100G全盒架构，降低建网成本。另一方面，基于自身强大的研发能力，提升网络部署和维护的自动化水平，以应对运维工作量增加的挑战。因此，大型互联网企业对于100G网络解决方案的思路也是一致的，全盒式设备组网成为100GE网络架构演进的基础。网络提速已成必然，下一站是谁？25G接入+100G互联网网络解决方案促成了芯片选型的统一和放量的快速增长，充分体现了技术红利驱动IDC网络架构的快速演进。随着单片机网络产品的推出，100G世代的技术红利已经全面获得。在当前业务持续快速发展的背景下，带宽升级是必然的。一道选择题摆在企业面前：选择200G还是400G？网络从来不是孤立存在的，产业环境是决定技术能否成长成熟的大土壤。我们先从网络标准、服务器和光模块三个方面来审视200G和400G产业的现状。200Gvs400G标准：协议标准成熟。在IEEE协议标准的演进过程中，200G标准推出时间晚于400G标准。IEEE802.3以太网工作组（WorkingGroup）在完成BWAI（BandwidthAssessmentI）项目研究后，于2013年立项制定400G标准。2015年，为进一步扩大市场范围，纳入50G服务器和200G交换机规范，IEEE成立802.3cd项目，开始制定200G标准。由于200G和400G规范的相关性，200G单模规范最终被纳入802.3bs项目。届时，400G基本完成了PCS、PMA、PMD的主要设计，而200G单模规格一般是在400G单模规格减半的基础上制定的。2017年12月6日，IEEE802最终批准了IEEE802.3bs400G以太网标准规范，包括400G以太网和200G以太网单模，标准正式发布。IEEE802.3cd定义了超过200G的多模标准，并于2018年12月正式发布。图3：IEEE802.3bs400GE标准的关键里程碑如下表所示，400G已经实现了包括100m在内的全场景标准支持、500m、2km和长距离80km。50Gvs100G服务器：100G服务器将成为主流图4：分析师对网卡和服务器出货趋势的预测根据分析师机构CREHAN的预测，截至2019年，50G和100G网卡均已开始出货。在25G网卡的下一代升级选项方面，2018年和2019年整个行业都会出现波动，2019年50G和100G服务器的出货量出现逆转，但2020年后100G服务器的势头完全超过50G服务器，业界又开始对100G服务器有了信心。从CPU芯片来看，I厂和A厂两大主流厂商相继推出了新品路线图。一厂支持PCIe4.0的芯片将于2020年Q3推出，主流I/O可达50G，高端应用IO可达100G/200G。两大巨头有望在2021年上半年推出支持PCIe5.0的芯片，并再次将主流I/O提升至100G，高端应用IO可达400G[1]。因此，CPU芯片节奏和服务器出货量预测均显示50G昙花一现，100G服务器正迅速成为主流。200Gvs400G光模块：400G性价比更高，行业更成熟。数据中心接入服务器正在从25G向100G演进。那么现在的100G互联网网络应该选择200G还是400G呢？从上表可以看出，当数据中心从10G服务器演进到25G时，网络互联从40G升级到100G，网络带宽翻倍，但互联成本和功耗保持不变，即即千兆互连成本和功耗降低一半。因此，100GE取代40GE成为25GE时代主流的网络互联方案。200GE和400GE光模块与以往有些不同。传统光模块采用NRZ（不归零）信号传输技术，用高低信号电平分别表示数字逻辑信号的0和1，每个时钟周期可以传输1比特的逻辑信息。200G和400G光模块均采用高阶调制技术——PAM4（PulseAmplitudeModulation4四阶脉冲幅度调制）。PAM4信号采用4种不同的信号电平进行信号传输，每个时钟周期可以传输2比特的逻辑信息，即00、01、10、11。因此，在相同波特率条件下，PAM4信号的比特率是NRZ信号的两倍，传输效率翻倍，有效降低Gbit成本。从光模块组成来看，200G和400G模块均采用4-lane的主流架构，因此模块设计成本和功耗相近。因为400G模块的带宽是200G的两倍，Gbit成本和功耗是200G的一半。另一方面，除了架构设计，模组成本还取决于规模的大小。根据第三方咨询公司Omdia（原OVUM）出货数据，目前200G和400G模组TOP8供应商布局整理如下。如上图所示，200G模组只有100mSR4和2kmFR4两种，其中100mSR4只有两家供应商。相比之下，400G模组有5种，TOP8厂商均布局了100m、500m和2km模组。400G的行业成熟度远好于200G，客户有更多的选择。这一分析结果也进一步说明，由于PAM4技术的引入，存在成本和功耗的技术成本。对于对成本和功耗敏感的数据中心网络，业界迫切希望通过从200G跨越到400G来吸收这笔成本。同样技术和成本结构的400G在演进上更具竞争力。总结：400G传输势头明显，200G一代或将跳过数据中心网络服务业务。从业务驱动来看，数字化建设的快速增长将推动2020年100G服务器快速增长，成为主流。从成本来看，由于数据中心光器件成本占整个数据中心网络设备成本的一半以上，由于PAM4技术的引入，400G光器件的单比特成本比200G光模块，光模块的部署成本将直接拉动整个网络。降低整体网络建设成本。整体来看，400G蓄势待发，200G一代或将成为临时过渡或直接跳过。那么，400GE数据中心网络架构应该如何演进？400G组网形态：高密400G全箱还在路上芯片的交换容量每一代都在不断翻倍。要为众多连接的服务器提供高带宽连接，转发芯片容量翻倍的挑战要比网卡容量翻倍困难得多。如上图所示，半导体工艺的PPA（Performance,Power,Area）优势越来越不明显。其中，芯片的工作时钟频率影响着芯片的线速字节性能（Performance），但每一代半导体工艺的时钟性能只提高了20%，所以更多的逻辑（Area）和功耗（电源）需要添加以提高性能。随着转发芯片的面积不断增大，功耗也会相应增加，最终会遇到功耗瓶颈，需要更先进的半导体工艺才能获得合理的功耗指标。以典型的128口100GE高密盒式交换机为例，采用16nm工艺的12.8T芯片，芯片功耗约为350W。整机含100G光模块最大功耗为1998瓦。预计未来25.6T128*200G整机最大功耗为3000W。设备的整体功耗和芯片的单点散热能力越来越高。如此大的功耗对网络设备的工程设计能力（如散热等）提出了极大的挑战。400G单网络节点若希望获得与100G网络相同的128端口密度，转发芯片性能要求达到51.2T。如果未来要推出的51.2T芯片仍采用7nm制程工艺，估计芯片功耗可能高达1000W。按照目前的散热工艺，这个数字对于盒式设备来说基本上是无法实现的。因此，采用51.2T转发芯片构建高密度128端口400G盒式交换设备，很大程度上依赖于5nm或3nm芯片工艺的升级，将转发芯片的功耗降至900W以下。但如果采用5nm或3nm芯片工艺，芯片量产交付时间预计为2023年。400G已经到来，400G框盒是目前最好的选择。支持高密度400G的交换芯片（51.2T）产品商用交付较晚。在现有条件下，网络设备面临三种选择：方案一、高密度200GBox型：采用25.6T芯片，提供128个200G端口。方案二、低密400G盒式：采用25.6T芯片，提供64×400G端口。方案三、高密度400G框式：通过多芯片堆叠实现更高密度的400G端口，提供400G框式设备，满足128×400G甚至更高的端口密度。高密200G盒型：缺400G先锋服务器100G将迅速成为主流，400G光连接成本最优，整个行业唯一缺的就是不成熟的51.2G（128*400G）转发芯片。短期内缺乏这一点，确实让那些已经部署了100G全盒架构的企业犹豫不决，开始考虑200G。.但是，选择200G意味着放弃直接向400G演进的最短路线，导致200G的重复投资；同时，由于光互连成本占数据中心网络建设成本的一半以上，选择200G将错失率先拥抱400G技术红利的机会。低密度400G盒式：服务器集群规模缩小3/4。采用64x400G盒式设备组网，由于T2层设备的端口密度是100G网络架构中128端口的一半，因此连接POD的服务器也会减少一半。同时，T3还采用了64x400G的网络设备，因此服务器数量将再次减半，导致整个服务器集群的规模缩小到原来的1/4。纵观数据中心网络的发展，有一个简单的基本原则：在保证现有服务器集群规模的前提下提升速度。低密度400G网络设备的形式会造成服务器集群规模的大幅缩减，难以被业务应用所接受。高密度400G帧：历史证明的最佳选择让我们回顾一下100G网络的演进史。早期，云计算服务和计算资源虚拟化技术的发展推动了100G行业标准的成熟。25G接入服务器逐渐规模化应用，100G光互连市场快速增长，成本进一步下降。当产业成熟并宣告100G网络时代到来时，高性能100G转发芯片的存储滞后，无法在100G网络建设初期（下图stage1）获得。业界最初采用多芯片方案构建高密度100G模块化交换机。一方面确保网络规模满足预期，另一方面快速释放100G网络的技术红利。随着芯片性能的升级和6.4T、12.8T芯片的推出，网络从100G帧型顺利过渡到100G盒型阶段（下图阶段2、3）。400G网络也将执行类似的演化规律。在51.2T芯片能力尚不具备的情况下，多芯片打造的400G模组化交换机设备是目前较为明智的选择。通过部署高密度400G帧设备，可以维持甚至进一步扩大网络规模，降低每比特成本。目前，业界主流厂商已经发布了400G帧设备，将推动400G网络的商用。随着后续51.2T交换芯片的推出，400G的framebox架构可以平滑演进到fullbox，最终成为400G时代数据中心网络的主流架构。
