当前位置: 首页 > 科技观察

中国AI服务器,刷新全球18项性能基准测试纪录

时间:2023-03-15 00:44:36 科技观察

中国AI服务器创18项全球性能基准测试纪录美国东部时间10月21日,全球知名AI基准测试权威MLPerf公布了今年的推理测试榜单。浪潮AI服务器NF5488A5一举创造了18项性能记录,在数据中心AI推理性能方面遥遥领先于其他厂商产品。MLPerf是目前全球最具影响力的AI计算基准评测机构。它由图灵奖得主大卫·帕特森(DavidPatterson)联合谷歌、斯坦福、哈佛大学等单位共同成立。每年组织全球人工智能培训和人工智能推理。性能测试和排名。MLPerf的AI推理基准测试有全球23家公司和单位参与AI计算产品在数据中心和边缘场景的性能对比。今年的MLPerf培训名单已于7月公布。浪潮NF5488A5数据中心AI性能夺绝对优势此次浪潮NF5488A5一举创造了18项MLPerf推理性能记录,成为记录最多的AI服务器。在今年的测试中,数据中心的AI性能最受关注,所有参与机构提交了507项性能测试数据。浪潮NF5488A5在22场数据中心比赛中创造了13项性能记录,以绝对优势领先。NVIDIADGX创造了5项数据中心性能记录。在之前的MLPerf训练榜单中,NF5488A5也在最核心的Resnet50训练任务中创造了性能记录,单机性能高居榜首。△浪潮NF5488A5创造了MLPerf推理性能的18项新记录。性能大幅提升3倍,全栈AI能力优势凸显。在本次基准测试中,浪潮AI服务器NF5488A5在ResNet50基准性能的开放优化(Open)和固定任务(Closed)测试中均表现良好,并与2019年MLPerf推理中服务器的最佳性能对比列表,性能提升高达3倍。△2019年和2020年ResNet50推理性能对比NF5488A5是浪潮自研的新一代AI服务器。是本次MLPerf全球大赛唯一一款能够在4U空间内支持8安培架构A100芯片实现NVLink高速互联的AI服务器。浪潮NF5488A5在系统拓扑上采用超低时延设计,支持PCIe4.0全链路极致优化,高频通信单元采用一级拓扑最紧密连接,最大限度发挥处理器与AI芯片之间的通信性能。同时,通过配置NUMA节点,保证每个处理器与其直连GPU之间的通信性能最佳,通信延迟最小化。此外,NF5488A5通过系统结构设计的深度优化,保证了器件在高温环境下的稳定运行。在本次基准测试中,浪潮展示了其卓越的AI计算软硬件协同优化能力。在硬件层面,通过对CPU和GPU硬件性能的精细校准和综合优化,使CPU性能、GPU性能、CPU和GPU之间的数据通路都处于AI推理的最佳状态;在软件层面,结合GPU硬件拓扑结构,对多个GPU进行轮询调度优化,使单卡到多卡的性能实现近似线性扩展;在深度学习算法层面,结合GPUTensorCore单元的计算特性,通过自研的通道压缩算法,成功实现了模型的极致性能优化。在不损失精度的情况下,性能提高了近2倍。△MLPerf各服务器AI推理性能对比(基于浪潮NF5488A5,越高越好)浪潮是全球领先的AI计算龙头,在中国AI服务器市场份额连续三年保持在50%以上。浪潮致力于人工智能计算平台、资源平台和算法平台的研发与创新,通过元脑生态与领先的人工智能企业共同推动人工智能产业化和工业人工智能的进程。