当前位置: 首页 > 科技观察

谷歌的公共数据中心网络设计

时间:2023-03-19 10:25:10 科技观察

谷歌的数据中心和基础设施是业界公认最先进的。过去,他们保密非常严格,所以所有相关信息的泄露都会引起关注。毕竟现在很火的Hadoop,本来也只是山寨的几篇论文而已。网易的文章介绍了谷歌数据中心的网络设计,这方面的资料以前很少见。文章应摘录自《连线》。有线文章的特点是八卦信息多(因为他们想写的是故事,而不是技术本身),技术细节很少,而且经常出现技术错误(至少是本篇关于Jupiter交换机处理能力的数据)文章已经过时了),但是对于了解一个事物的来龙去脉还是很有用的。文章的大意是,谷歌很早就开始研发自己的网络设备,因为他们的系统发展很快,思科等设备不能满足需求(勉强能用,又贵),反正跟其他领域不一样云计算也是一样:互联网公司的发展已经远远超出了传统IT的范畴,所以要自己玩。反正谷歌这样的公司能招到顶尖人才,如果业界招不到,就直接挖走学校的教授(AminVahdat因为在波特兰做过相关研究所以被邀请了)。然后用普通芯片和Linux固定交换机,自己设计网络协议,自己设计网络控制软件。***制作超大型网络系统。相关技术包括SDN。更引人注目的一点是:“今天,谷歌内部数据中心之间交换的数据量已经超过了谷歌与整个互联网之间交换的数据量。”幸运的是,谷歌负责网络的FellowAminVahdat也写了一篇文章官方博客介绍了他们的数据中心网络设计,强调首次公开了谷歌内部五代网络技术的细节,从Firehose到Jupiter,最新的Jupiter可以提供1Pb/s的总带宽,足够100,000台服务器以10Gb/s的速度交换信息,可以在十分之一秒内读取国会图书馆的所有扫描数据。但是这篇文章非常简短和模糊,只有一些原则:在Clos拓扑中安排网络,这是一种网络配置,它使用一组更小(更便宜)的交换机来提供更大的逻辑交换机的功能。使用集中式软件控制堆栈来管理数据中心的数千台交换机,并使它们像一个大型结构一样工作。构建您自己的软件和硬件(使用Broadcom等供应商的芯片),减少对标准互联网协议的依赖,更多地依赖为您的数据中心量身定制的协议。(Wired文章说自定义协议叫做Firepath,比BGP和OSPF更简单、更快、更容易扩展。)幸运的是,Google基础设施管理的老板UrsH?lzle在博客下评论说:“等待我们的论文,SIGCOMM2015八月。”他们在SIGCOMM上提交的论文标题为“JupiterRising:ADecadeofClosTopologiesandCentralizedControlinGoogle'sDatacenterNetwork”。让我们拭目以待。