当前位置: 首页 > 科技观察

整合全球HPC数据,看懂中国超算十年逆袭之路

时间:2023-03-19 00:24:53 科技观察

超算代表最强算力,体现一个国家的科技实力。因此,长期以来,各国都在超级计算研究上投入巨资。汇集了2007-2017年全球最权威的HPC数据,我们可以清晰地看到中国超算的逆袭之路,也可以看到过去十年超算软硬件配置的变化与升级。科普TIME:HPC是Highperformancecomputing的首字母缩写,意为高性能计算。HPC一般采用专用的操作系统、网络和计算架构,HPC能力在一定程度上代表了一个国家的计算能力。(注:本文提到的TOP500榜单属于ISC和SC大会的HPCTOP500榜单)NO.1:中国的超算逆袭中国在超算领域蓄积力量已久,但真正爆发式增长的是尚未到来。将近两年。特别是在最新的SC大会TOP500榜单(2017年11月)中,中国系统上榜数量首次超过美国,202个系统位居全球第一。最高(40.4%)的国家。回顾中国超算近十年的发展历程,从2007年11月的10个系统开始,当时美国的系统数量为280个系统,一家公司占据了全国的大部分。后来,我国经历“玻璃屋事件”后,国家835计划也提到了对高性能计算项目的关注,中国超级计算机上榜数量一直在稳步上升。2017年11月,中国SCTOP500系统数量超过美国。近五年来,中国天河一号和天河二号的出现,逐渐让中国在国际超算舞台上占有一席之地,中国上榜系统总数逐渐超过日本和欧洲一些国家。直到两年前,中国的超级计算机数量才首次突破100台,并开始在数量上超过美国。从中国超算供应商的角度来看:中国超算之所以能在十年内实现逆袭,除了天河一号和天河二号之外,还有类似的研究所和国防大学的研究机构提供技术、异构超算此外,更重要的是以联想、曙光为代表的中国企业在超算领域的突破。四家企业助力中国“超算梦”。以2015年11月的SC榜单为例,中国上榜数量首次突破100个。在109个系统中,曙光以49个系统贡献最多,其次是联想。与2015年上半年1套、曙光5套相比,当年11月公司在中国排行榜的实力确实大涨。(注:本统计所列数字均为企业单独提供的系统,不包括中外企业联合研发的系统。)除了联想和曙光这些中国超级计算机在国际舞台上的排头兵,近两年同样实现快速崛起的中国企业还有浪潮和华为。联想、曙光、浪潮、华为在国际舞台上对中国超算的规模起到举足轻重的作用;而中国超级计算的最强音是国防科技大学和中国国家并行计算工程技术研究院。由中心等学术平台发布。神威:更少但更好的自研处理器当中国的神威太湖之光第五次夺得全球超算排行榜第一名时,当第二名拥有此前的七连冠时,同样来自中国的天河二号,中国超级计算机已成为国际舞台上体量和音调突出的国家。不过,无论是2010年闯过TOP1(以微弱优势夺得第一)的天河一号,还是以33862.7TFlops的浮点运算连续七次夺得世界冠军的天河二号,都使用英特尔至强系列处理器。过去五年,TOP1超算一直被中国霸占。其实从TOP500处理器选择来看,英特尔至强确实成为了大家的首选。从2012年11月到2017年11月,至强处理器增长了30.2%。.相比之下,使用AMDOpteron处理器和IBMPOWER处理器的超级计算机数量急剧减少。虽然天河二号使用的至强处理器取得了不俗的成绩,但超越天河二号性能的神威太湖之光使用的是中国自主研发的神威处理器。无论背后的原因是客观上美国禁止向中国出口高性能处理器,还是中国自身对自研处理器的需求,结果总是喜人。至强成为超算主流神威太湖之光以93014.6TFlops的浮点运算第五次夺得世界冠军。神威太湖之光采用国产处理器神威26010多核处理器(效率74%),拥有260个处理核心和4个内存控制器;支持264位向量指令集,内置32KiB一级指令缓存,32KiB一级数据缓存,256KiB二级缓存,主频达到1.45GHz;双精度浮点数峰值为3.06TFlops。神威26010众核处理器包括4个核心组,每个核心组65个核心,由8×8Mesh架构计算集群(CPE)、管理单元(MPE)和内存控制器(MC)组成。P.S:在IntelXeon今年新发布的scalableprocessing中,也采用了这种Mesh架构。科普TIME:Mesh架构是业界最新的处理器架构。与传统的Ring架构不同,Mesh架构采用网状互连,从而改善了CPU核心与缓存之间的数据访问路径,降低了时延。垄断:Linux成为唯一超级计算系统Unix、Windows、BSDBased等操作系统于2017年11月首次从榜单中消失。最新TOP500中的所有系统均采用开源Linux系统。而这距离1998年Linux系统首次登上TOP500榜单还不到20年。事实上,在1993年6月发布的第一届超级计算500强榜单中,Unix依然是绝对的霸主。那时,Linux才两岁,吉祥物(Tux企鹅)还没有选好。Linux在超级计算领域胜出。Linux在超级计算领域的活跃地位始于2003年,直到今年6月,有两台超级计算机选择了Unix系统上榜。可能有人会疑惑,为什么Linux能够赢得超算的青睐,最终独占超算TOP500榜单?难道仅仅是因为Linux是开源系统而且便宜吗?当然不是。如果要来我国建造天河一号一期工程,就需要6亿元。操作系统的选择不太可能受到价格的影响。但是,由于超算不是大规模的商业产品,企业不可能单独为超算打造操作系统,这意味着超算只有两种选择:使用现有的商业操作系统,或者修改现有的超算操作系统。系统。提升。由于超级计算一般都有特殊的应用需求,需要专门的优化,因此是完善开源系统的最佳选择。Linux系统有一个开放的内核,工程师和设计人员可以根据自己的需要对系统进行改进。同时,Linux系统对大多数软件都有很好的兼容性,并且还有庞大的Linux技术社区作为支持。变得不可避免。当然,考虑到超算的规模,对于Linux发行版来说,任意数量节点的license费用都是一样的,这着实让超算研发单位在扩容过程中更加安心。定位:行业分布变化不大。从近十年20个超算排行榜各行业的分布情况来看,并没有太大的变化。互联网和工商业应用场景始终是最强的,其次是研究机构和学术场景,都在100个系统编号上相继徘徊。超级计算的需求场景已经敲定。这个数据表明,超算的目标应用场景在十年前就已经成熟,以商业应用场景为主,学术和研究为辅。然而,中国在过去两三年里迅速崛起。但是,仍然需要找到合适的应用场景和巨大算力的输出端口。问:硬件发展太快了。可能有人会问,发展太快不好吗?就像软件和硬件应该两条腿走路一样,一只脚很强,一只脚很弱。但如果动摇,必然无法带来健康的产业生态。诚然,从天河一号算起,中国超级计算机在过去5年里13次进入TOP1。不过,天河一号建成后,据说人很少。当一个科技产品成为人们参观的装饰品时,真的很悲哀。除了天河一号,神威太湖之光也曾反映,由于使用国产处理器,无法兼容部分基础应用。2017年11月SCTOP10名称、国家、所属单位和TFplos值对比国外的超算情况,除了第三名来自瑞士,来自瑞士国家超算中心的PizDaint之外,接下来的Gyoukou(日本)、Titan(UnitedStates)、Sequoia(美国)……大部分来自能源、地球科学、核能研究实验室。这些超级计算机的出现,工作内容明确,研究单位需求旺盛。正如笔者开篇所言,超算确实代表了一个国家的科技实力,但不是全部,只是一部分。从过去十年的超算数据中,我们看到了中国的超算强军之路,但也看到了中国IT发展的一个缩影。附录:TOP500榜单,全球两大超算排名,是全球超算能力评价的权威。它由ISC和SC分别于每年6月和11月出版。ISC国际超级计算大会(InternationalSupercomputingConference)每年举办一次,是IEEE认可的全球性会议,展示高性能计算、网络和存储。ISC:FocusonHPC,Cloud,BigDataandMachineLearning2017年6月ISC进入第32个年头,为所有HPC研究人员、技术领导者、科学家和IT决策者提供了一个共同研究HPC解决方案的平台。每年,ISC都会针对不同的主题进行深入讨论,大致涵盖高能效HPC中心、百亿亿次级计算、未来异构架构、替代处理器和云中的HPC。SC全球超级计算会议(SupercomputingConference),每年举办一次,由IEEE计算机学会(IEEEComputerSociety)和计算机协会(ACM)联合主办,一般在美国举办,HPC除外TOP500榜单此外,GreenHPC榜单每年都会发布。高性能共轭梯度基准测试于2017年11月在美国丹佛举行,会议宣布新增High-PerformanceConjugateGradient(高性能共轭梯度基准测试),包括矩阵乘法、全局集合、向量刷新等计算方法,旨在为系统性能提供一个更平衡的准则。科普TIME:高性能共轭梯度基准测试High-PerformanceConjugateGradient,简称HPCG。HPCG所采用的计算和数据访问模式与实际应用具有更强的相关性,可以用来指导高性能系统的设计和实现,从而提高实际应用在高性能计算系统中的性能。(注:这部分资料来自田纳西大学的JackDongarra和桑迪亚国家实验室的MichaelA.Heroux。)ISC和SC会议可以说是高性能计算领域的两个神坛,和他们的地位相当稳固。不过,随着国内HPC产业的崛起,国内也开始举办类似的发布会,公布国内超算排名;与此同时,全球超级计算排名也随着技术的变革而不断变化,提出新的标准。