当前位置: 首页 > 科技观察

MLPerfv2.0测试结果出炉,NVIDIAJetsonAGXOrin领先边缘AI

时间:2023-03-13 03:50:20 科技观察

在当今数字时代,利用人工智能技术加速业务创新已成为企业的共识。随着人工智能技术的快速发展、数据量的爆发式增长、数据结构的变革,对数据中心的计算能力提出了新的要求。这也成为NVIDIAAmpere架构一经发布就受到业界广泛关注和认可的关键原因。.  作为全球最具影响力的AI计算基准评测机构,MLPerf基准测试已成为测试算力的重要参考。MLPerf由图灵奖得主大卫·帕特森(DavidPatterson)联合谷歌、斯坦福、哈佛大学等单位共同成立。每年组织全球人工智能培训和人工智能推理性能测试,并发布排名。目前,MLPerf涵盖计算机视觉、自然语言处理、推荐系统、强化学习等工作负载和场景。  为了增强边缘计算的能力,NVIDIA在今年的GTC上发布了全新的NVIDIAJetsonAGXOrin,增强边缘AI计算能力。根据NVIDIA公布的数据,NVIDIAJetsonAGXOrin在最新一轮的行业推理基准测试中取得了不错的成绩,成为边缘AI的标杆产品。  用算力推动边缘创新  在今年的NVIDIAGTC上,NVIDIA正式发布了NVIDIA?JetsonAGXOrin?开发者套件。这款功能强大、紧凑且节能的AI超级计算机非常适合高级机器人技术、自主机器以及下一代嵌入式和边缘计算。  根据NVIDIA公布的数据,JetsonAGXOrin每秒可进行275万亿次计算,处理能力比上一代JetsonAGXXavier提升8倍以上,同时仍保持手掌大小和管脚兼容,价格也差不多。  据了解,该套件包括NVIDIAAmpere架构GPU、ArmCortex-A78AECPU、新一代深度学习和视觉加速器、高速接口、更快的内存带宽和多模态传感器支持,可支持多个并发AI应用程序支持。  NVIDIAOrin首次参与行业MLPerf基准测试,并提升了每个边缘加速器的性能,创造了新的AI推理性能记录。在边缘AI领域,NVIDIAOrin的预量产版在六项性能测试中有五项领先,运行速度是上一代JetsonAGXXavier的五倍,能效平均提升两倍。  将MultiStream测试项目引入最新的MLPerf2.0,测量边缘计算设备在多摄像头和多传感器场景下的性能。根据最新的MLPerf2.0性能测试,JetsonAGXOrin的性能最高可达上一代JetsonAGXXavier的5倍,同时提供平均2倍的能效。  NVIDIA人工智能推理与云计算高级产品经理DaveSalvator表示,NVIDIAOrin的卓越性能,将进一步加速行业打造新一代机器人和边缘AI产品,推动行业创新步伐。  据了解,NVIDIAOrin现在已经添加到用于机器人和自动化系统的NVIDIAJetsonAGXOrin开发者套件中。包括亚马逊网络服务、约翰迪尔、小松、美敦力和微软Azure在内的6,000多家客户使用NVIDIAJetson平台进行人工智能推理或其他任务。中国最大的电动汽车制造商比亚迪最近宣布,他们将在其新一代自动驾驶电动汽车中使用内置Orin的DRIVEHyperion架构。  Orin还是NVIDIA的ClaraHoloscan医疗设备平台的关键组件,系统制造商和研究人员使用该平台开发下一代AI仪器。  DaveSalvator表示,借助JetPackSDK,Orin可以运行整个NVIDIAAI平台。该软件堆栈已在数据中心和云端得到验证,并在NVIDIAJetson平台上获得了100万开发者的支持。  端到端AI和HPC数据中心平台  除了面向边缘计算的Orin,NVIDIA还提供了一款基于Ampere架构的数据中心产品:NVIDIAA100TensorCoreGPU。  NVIDIAA100TensorCoreGPU主要面向AI、数据分析和HPC应用场景,搭载NVIDIAAmpere架构,提供40GB和80GB两种配置。作为NVIDIA数据中心平台的引擎,A100的性能是上一代产品的20倍,并且可以划分为七个GPU实例以动态调整以适应不断变化的需求。A10080GB将GPU内存加倍,提供超快的内存带宽(每秒超过2TB)来处理超大型模型和超大型数据集。  为了展示A100GPU的性能,NVIDIA还通过数据表达了现有A100GPU的优秀性能。在NVIDIAA100与QualcommCloudAI100PCIe的对比测试中,A100的性能在所有测试项目中都领先于CloudAI100PCIe,尤其是在某些项目中,NVIDIAA100甚至拥有处理器105倍的AI运算性能。  目前,NVIDIA是唯一一家提交了所有MLPerf测试结果的公司,测试结果表明,多实例GPU(Multi-InstanceGPU,MIG)可以进行GPU虚拟化,增加使用灵活性。  DaveSalvator表示,通过这些测试结果不难发现,新的JetsonAGXOrin开发者套件为边缘和机器人带来了新的人工智能功能,A100提供了7个加速器,进一步简化了部署和管理同时优化利用率和效用。  DaveSalvator强调,在Arm服务器下,NVIDIA的加速性能堪比x86,而且在短短一年多的时间里,NVIDIA将人工智能软件的性能提升了50%,继续保持人工智能综合性能的领先地位.