今天,NVIDIA首席科学家比尔达利在GTC中国在线会议主题演讲中表示,NVIDIA研究人员致力于打造更快的AI芯片,并在具有更高带宽的系统中使用它来简化编程。
他以三个项目为例,讲述了他领导的研究团队如何成功实现“黄氏定律”。
该定律以 NVIDIA 首席执行官黄仁勋 (Jensen Huang) 的名字命名,预测 GPU 将推动 AI 性能逐年翻倍。
Dally 表示:“如果我们真的想提高计算机性能,黄氏定律是一个重要的衡量标准,并且在可预见的未来将继续适用。
此前,Dally 负责 NVIDIA 的 AI、光线追踪和高速互连领域的相关研究。
“ NVIDIA 凭借超高能效加速器帮助 AI 推理性能每年提高一倍以上。
为了实现这一突破,NVIDIA 研究人员专门开发了一种名为 MAGNet 的工具,该工具生成了 AI 推理加速器,可以实现推理能力达到每瓦 tera ops,比当前商用芯片高出一个数量级。
MAGNet使用一系列新技术来协调和控制通过设备的信息流,最大限度地减少数据传输,这是当今芯片中最耗能的环节。
该研究原型以模块的形式实现,因此可以灵活扩展。
此外,研究团队正在进行一项研究,用更快的光链路取代现有系统中的电链路。
释放所有光子的潜力 Bill Dally 拥有多项专利,在 2006 年加入 NVIDIA 之前曾担任斯坦福大学计算机科学系主任。
“我们可以将 NVLink 到 GPU 的速度提高一倍,也许还能再提高一倍,但最终电信号将会耗尽,”达利说。
该团队正在与哥伦比亚大学的研究人员密切合作,探索如何利用电信提供商其核心网络中使用的技术,通过单根光纤传输数十个信号。
这项技术被称为“密集波分复用”,有望在尺寸仅为一毫米的芯片上实现Tb/s级的数据传输,是目前互连密度的十倍以上。
除了更大的吞吐量之外,光链路还有助于创建更密集的系统。
Dally 举了一个未来 NVIDIA DGX 系统模型的例子,该模型将配备多个 GPU。
工程师使用光学链路在单个系统中承载多个 GPU 软件。
NVIDIA 研究人员开发了一种名为 Legate 的新编程系统原型。
开发人员可以使用 Legate 在任何规模的系统上运行为单个 GPU 编写的程序,甚至是像 Selene 这样拥有数千个 GPU 的巨型超级计算机。
Legate将一种新的编程速记法融入到Legion中,这是一个加速软件库和先进的运行时环境,目前正在美国国家实验室进行测试。
描绘更美好的未来 除了上述三项研究之外,Dally 在主题演讲中还谈到了 NVIDIA 专门针对医疗保健、无人驾驶汽车和机器人等多个行业的平台。
同时,他还致力于数据科学、人工智能和图形处理方面的研究。
Dally 表示:“经过几代人的努力,NVIDIA 的产品将通过基于物理渲染的路径追踪技术实时生成令人惊叹的图像,并可以借助 AI 构建整个场景。
”此外,他还首次公开展示了 NVIDIA 对话式 AI 框架 Jarvis 和 GauGAN 的完美结合。
GauGAN 使用生成对抗网络,只需简单的构图即可创建美丽的风景。
在演示中,用户可以使用语音命令立即生成像照片一样栩栩如生的画作。
如需观看Jarvis/GauGAN演示,请前往NVIDIA官网观看主题演讲直播/重播。
在主题演讲视频录制间隙,戴利接受了采访,并对研究团队在多个领域取得的突破性进展表示深深的自豪。
他表示:“目前 NVIDIA 在光线追踪领域取得的进展都是从 NVIDIA Research 构建的原型开始的,我们的产品团队非常兴奋。
2017 年,我指派 NVIDIA 研究员 Bryan Catanzaro 与斯坦福大学教授 Andrew Ng 一起工作在一个项目上,后来创建了 CuDNN 软件,这使得深度学习领域的大量研究工作成为可能。
“基于网络领域,Dally 还领导了一项合作,构建了 NVLink 和 NVSwitch 的初始原型。
如今,世界上最大的超级计算机使用 NVLink 和 NVSwitch 来互连其内部 GPU。
他表示:“产品团队总能快速将研究工作转化为实际成果,这就是为什么NVIDIA现在能够成为全球最受认可的网络公司之一。
”谈及自己对科技的热情,达利表示自己就像一个沉浸其中的人。
糖果故事里的孩子们。
也许有一天,还在帮助一组团队研究人工智能加速器的他会突然转而帮助另一个团队解决机器人领域的复杂问题。
他说:“我现在所做的工作是世界上最有趣的工作,或者至少是整个公司最有趣的工作,它让我有机会帮助塑造未来。
”除了会议主题演讲外,GTC中国线上会议还将提供多场主题演讲和分论坛,全部免费参加,且大部分为中文。
GTC中国在线大会高峰论坛和初创企业展示主题演讲结束后,NVIDIA的资深专家将齐聚高峰论坛,介绍该公司在中国人工智能、数据科学和医疗健康领域的多项突破性技术。
此外,人工智能和数据科学领域的初创企业孵化计划NVIDIA Inception将邀请12家中国领先的初创企业参加此次会议。
本次大会吸引了阿里巴巴、AWS、百度、字节跳动、中国电信、戴尔科技、滴滴出行、新华三、浪潮、快手、联想、微软、平安、腾讯、清华大学、小米等众多行业领先企业和机构参加。
。