根据今天发布的基准测试结果，NVIDIA在使用x86和ArmCPU进行AI推理时取得了最好的成绩。 这是NVIDIA连续第三次在MLCommons推理测试中刷新性能和能效记录。MLCommons是一家成立于2018年5月的行业标杆机构。 本次测试是首次在Arm系统上进行的数据中心类别测试，为用户在部署AI这一目前最具变革性的技术时提供更多选择。 无与伦比的性能 在最新一轮测试中，由NVIDIA及其九家生态系统合作伙伴（包括阿里巴巴）提供的NVIDIAAI平台提供支持的系统在所有七项推理性能测试中均名列前茅，戴尔技术，富士通，技嘉，HPE，浪潮、联想、宁昌和超微。 NVIDIA是唯一一家拥有本轮和迄今为止每一轮所有MLPerf测试结果的公司。 推理是指计算机运行人工智能软件来识别物体或做出预测。在这个过程中，计算机使用深度学习模型来过滤数据并发现人类无法捕获的结果。 MLPerf推理基准基于当今最常用的AI工作负载和场景，涵盖计算机视觉、医学影像、自然语言处理、推荐系统、强化学习等。 因此，无论用户部署什么AI应用，他们可以通过NVIDIA创造自己的记录。 为什么性能很重要 随着人工智能用例从数据中心扩展到边缘甚至更远的地方，人工智能模型和数据集将继续增长。这就是为什么用户需要既可靠又部署灵活的性能。 MLPerf让用户有信心做出明智的购买决定。该组织得到了包括阿里巴巴、Arm、百度、谷歌、英特尔和英伟达在内的数十家行业领导者的支持，因此测试是透明和客观的。 企业AI的Arm灵活性 随着能效性能的提高和软件生态系统的扩展，Arm架构正在进入世界各地的数据中心。 最新的基准测试表明，作为GPU加速平台，使用AmpereAltraCPU的Arm服务器在AI推理工作中提供与类似配置的X86服务器几乎相同的性能。事实上，在其中一项测试中，Arm服务器的性能甚至优于类似配置的x86系统。 NVIDIA在支持所有类型的CPU架构方面拥有悠久的历史，很高兴看到Arm在同行评审的行业基准测试中展示其AI性能。 Arm高性能计算和工具高级总监DavidLecomber表示：“作为MLCommons的创始成员，Arm致力于创建标准和基准，以更好地应对加速计算行业的挑战并激发创新。” “最新的推论结果表明，ArmCPU和NVIDIAGPU驱动的Arm系统已经能够处理数据中心内广泛的AI工作负载。” NVIDIA合作伙伴展示AI性能 NVIDIAAI技术获得广泛和扩展的访问生态系统支持。 在最新的基准测试中，七家原始设备制造商共提交了22个GPU加速平台。 大多数这些服务器型号都是经过验证的NVIDIA认证系统，可以运行各种加速NVIDIAAIEnterprise软件，上个月正式发布。 参与本轮测试的合作伙伴包括戴尔科技、富士通、HPE、浪潮、联想、宁昌、超微、云服务 软件的力量 英伟达在所有人工智能用例中取得成功的一个关键因素是其完整的软件堆栈。 在推理方面，这包括针对各种用例的预训练人工智能模型。NVIDIATAOToolkit使用迁移学习为特定应用定制这些模型。 NVIDIATensorRT软件优化AI模型以最有效地使用内存并运行得更快。NVIDIA经常使用该软件进行MLPerf测试，该软件可用于X86和基于Arm的系统。 对于这些基准测试，NVIDIA还利用了NVIDIATriton推理服务器软件和多实例GPU(MIG)功能。它们为所有开发人员提供了通常需要专业程序员才能提供的性能。 随着软件堆栈的不断改进，与四个月前的MLPerf推理基准相比，NVIDIA已经实现了高达20%的性能提升和15%的能效提升。 NVIDIA在最新测试中使用的所有软件都可以从MLPerf存储库中获得，因此任何人都可以重现NVIDIA的基准测试结果。NVIDIA将继续将这些代码添加到NVIDIA的深度学习框架和容器中，这些框架和容器可在NVIDIA的GPU应用软件中心NGC上使用。 是支持所有主要处理器架构的全栈人工智能平台的一部分，在最新的行业基准测试中得到验证，并可通过多个合作伙伴获得，以帮助客户处理当今现实世界的人工智能工作负载。
