当前位置: 首页 > 数码发展

NVIDIA推出新一代AI超级计算机芯片HGX H200,推理速度是H100的两倍

时间:2024-02-23 23:55:11 数码发展

NVIDIA(英伟达)周一发布了最新的人工智能超级计算机芯片HGX H200,该芯片基于NVIDIA的“Hopper”架构,能够加速深度学习和大语言模型(LLM)等人工智能应用。

HGX H200 是 H100 GPU 的后继产品,也是第一款使用 HBM3e 内存的 Nvidia 芯片,它速度更快、容量更大,因此更适合大型语言模型。

Nvidia表示,HGX H200可以提供141GB内存和每秒4.8TB的带宽,与A100相比,容量几乎是A100的两倍,带宽是A100的2.4倍。

人工智能方面,英伟达表示,HGX H200在Llama 2(700亿参数LLM)上的推理速度是H100的两倍。

HGX H200 将提供 4 路和 8 路配置,并与 H100 系统中的软件和硬件兼容。

它将适用于各种类型的数据中心(本地、云、混合和边缘),并由 Amazon Web Services、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 等进行部署,并将于 2024 年第二季度推出。

除了HGX H200之外,Nvidia还发布了一款超级芯片GH200,集成了H200 GPU和基于Arm的Nvidia Grace CPU。

该芯片专为超级计算机而设计,可以处理具有 TB 级数据的复杂 AI 和 HPC 应用。

GH200将用于全球研究中心、系统制造商和云提供商的40多台人工智能超级计算机,包括HPE的Cray EX2500超级计算机和德国于利希工厂的JUPITER超级计算机。

英伟达表示,新芯片将有助于在多个领域实现科学突破,包括气候和天气预报、药物发现、量子计算和工业工程,其中许多领域使用定制的英伟达软件解决方案,简化了开发,但也使超级计算团队依赖英伟达硬件。

英伟达在AI和数据中心领域的营收持续增长,上季度达到创纪录的103.2亿美元,占总营收的76%。

Nvidia 无疑希望新的 GPU 和超级芯片能够帮助其延续这一趋势。