MLPerf发布最新榜单，浪潮AI服务器包揽数据中心推理冠军全部包揽数据中心16项冠军（固定任务）。 MLPerf?由图灵奖获得者大卫·帕特森（DavidPatterson）和顶尖学术机构发起。它是全球最权威的人工智能性能基准。每年组织两次AI推理和AI训练测试，及时跟踪评估快速增长的AI计算需求和性能。MLPerf?竞赛通常分为两类任务：封闭式任务（Closed）和开放式优化（Open）。软件优化能力成为更有价值的AI性能标杆。 这是MLPerf?在2022年的第一次AI推理性能评估，旨在考察不同厂商的计算系统在各种AI任务中的推理速度和能力。本次评测中，在最具竞争力的数据中心（固定任务）赛道，共提交了926个成绩，数量较上届比赛翻了一番，竞争十分激烈。 浪潮AI服务器创推理性能新纪录 本次MLPerf?AI推理性能测评涵盖图像分类、自然语言理解、语音识别、目标物体检测、医学影像分割、智能化等六大AI场景推荐，每个场景使用最主流的AI模型作为测试任务，即ResNet50、BERT、RNNT、SSD-ResNet34、3D-Unet、DLRM。MLPerf?测试要求模型推理准确率达到99%以上。针对自然语言理解、医学图像分割和智能推荐三个任务，分别设置了99%和99.9%两个精度要求，考察提高AI推理精度要求时对计算性能的影响。影响。 为了更贴近实际应用情况，MLPerf?推理测试在数据中心赛道下有离线（Offline）和在线（Server）两种模式。离线模式意味着任务所需的所有数据都在本地可用。大量医学图像样本等典型场景存储在本地等待统一识别。在线模式反映了大多数实时AI应用，其数据和请求以突发和间歇的方式在线传递，例如用户浏览购物网站时对智能推荐的推理请求。 浪潮AI服务器本次表现不俗，以最高性能拿下MLPerf?数据中心（固定任务）赛道16项全部冠军。 在本次MLPerf?测试中，浪潮AI服务器在ResNet50模型任务中创造了每秒处理449856张图片的性能记录，相当于仅用2.8秒就完成了ImageNet数据集中128万张图片的分类；in3D-在UNet模型任务中，创造了每秒处理36.25张医学图像的新记录，相当于在6秒内完成了KiTS19数据集中207张3D医学图像的分割；在SSD-ResNet34模型任务中，创造了每秒36.25张医学图像的新记录，在11,081.9张图片上完成了目标物体识别和定位的新记录；在BERT模型任务中，创造了平均每秒38776.7问答的性能记录；在RNNT模型任务中，创造了每秒155,811次语音转文本的记录；在DLRM模型任务中，创造了每秒2,645,980次点击预测的最佳性能记录。 此外，本次MLPerf?评测还有一个边缘推理轨道。浪潮专为边缘场景设计的AI服务器也表现不俗，在边缘固定任务赛道的全部17个任务中获得11个冠军。 随着AI在各行业应用的不断深入，更快的推理速度将带来更高的AI应用效率和能力，加速行业??智能化转型。与半年前的MLPerf?AI推理榜单V1.1相比，浪潮AI服务器在图像分类、语音识别和自然语言理解任务的推理性能分别提升了31.5%、28.5%和21.3%，这意味着浪潮AI服务器自动在驾驶、语音会议、智能问答、智能医疗等场景中，更高效、更快捷地完成各种智能任务。 全栈优化能力助推AI性能持续提升 浪潮AI服务器在MLPerf?基准评测中的优异表现，得益于浪潮信息卓越的AI系统设计能力和全栈优化能力。 参与评测的浪潮AI服务器NF5468M6J，系统设计非常出色。凭借分层和可扩展的计算架构，它在业界率先支持12个NVIDIAA100TensorCoreGPU。12个标题。浪潮信息也是此次MLPerf?大赛中唯一一家能够提供支持8颗500WNVIDIAA100GPU服务器的厂商，并实现了风冷和液冷两种散热方式。在本次参赛的8款GPUNVLink高端主流机型中，浪潮AI服务器在16项数据中心任务中斩获14项最佳成绩，在高端机型中展现领先优势。其中，NF5488A5是全球首批上市的A100服务器，在4U空间内支持8颗第三代NVlink互连的NVIDIAA100GPU和2颗AMDMilanCPU。NF5688M6是一款针对大规模数据中心优化的AI服务器，具有极致的可扩展性。支持8个A100GPU和2个IntelIcelakeCPU，最多支持13个PCIeGen4IO扩展卡。 在硬件层面，浪潮AI服务器通过对CPU和GPU硬件性能的精细校准和综合优化，使CPU性能、GPU性能、CPU和GPU之间的数据通路处于AI推理的最佳状态；层面上，结合GPU硬件拓扑，多GPU的round-robin调度优化，使单卡到多卡的性能实现近似线性扩展；在深度学习算法层面，结合GPUTensorCore单元的计算特性，成功实现了自主研发的通道压缩算法。模型的极致性能优化。 浪潮信息是全球领先的人工智能计算厂商，拥有全球最大的人工智能服务器市场份额，连续五年以超过50%的市场份额位居中国人工智能服务器市场第一。浪潮信息致力于AI计算平台、资源平台和算法平台的研发创新，通过元脑生态与领先合作伙伴加速数据与现实的融合。
