NVIDIA TensorRT? 7作为NVIDIA第七代推理软件开发套件，为实现更智能的AI人机交互打开了一扇新的大门，能够实现诸如因为语音代理、聊天机器人和推荐引擎可以实现实时交互。
Juniper Research 估计全球设备中有 32.5 亿个数字语音助手。
到 2020 年，这一数字预计将达到 80 亿，超过当今全球总人口。
TensorRT 7 内置了新的深度学习编译器。
编译器可以自动优化和加速循环神经网络和基于变压器的神经网络。
这些日益复杂的神经网络是人工智能语音应用所必需的。
对话式 AI 组件的运行速度比在 CPU 上运行时快 10 倍以上，从而将延迟降低到实时交互所需的毫秒阈值以下。
NVIDIA创始人和首席执行官黄仁勋在GTC中国主题演讲中表示：“我们已经进入了人工智能的新时代，机器可以实时理解人类语言。
TensorRT 7使这成为可能，为世界各地的开发者提供了工具，使他们能够能够构建和部署更快、更智能的对话式 AI 服务，实现更自然的 AI 人机交互。
“一些全球最大、最具创新性的公司已经在使用 NVIDIA 的对话式 AI 加速功能。
首批使用 NVIDIA 对话式 AI 加速能力的公司包括阿里巴巴、百度、滴滴出行、美团、快手、平安、搜狗、腾讯和字节跳动等中国最具创新力的领先企业。
搜狗为全球最常用的移动应用程序微信提供搜索服务。
搜狗首席技术官杨洪涛表示：“搜狗每天通过输入法、AI硬件、搜索引擎等为亿万用户提供语音、图像、翻译、对话、问答等优质人工智能服务。
我们使用 NVIDIA TensorRT 推理平台实现在线实时快速的服务响应和领先的 AI 能力显着改善了我们的用户体验。
“递归神经网络变得越来越重要，TensorRT 7 加速了 AI 模型的扩展。
这些模型用于使用递归循环结构（RNN）来预测时间序列和数据场景。
除了用于对话式人工智能语音网络之外，RNN 还可以帮助规划汽车或卫星到达时间、预测电子病历中的异常情况、预测金融资产和识别欺诈。
RNN 配置和功能集的爆炸式增长给快速部署能够满足实时性能标准的生产代码带来了挑战，需要开发人员花费数月时间创建手写代码优化，从而将对话式 AI 限制在少数公司拥有必要的专业知识的范围内。
天赋。
借助 TensorRT 的全新深度学习编译器，世界各地的开发人员可以自动化这些网络，例如自定义自动语音识别网络以及用于文本到语音转换的 WaveRNN 和 Tacotron 2，并实现最佳性能和最低成本。
延迟。
新的编译器还可以优化基于 Transformer 的模型，例如用于自然语言处理的 BERT。
加速从边缘到云的推理 TensorRT 7 可以快速优化、验证和部署经过训练的神经网络，为超大型数据中心、嵌入式或汽车 GPU 平台提供推理功能。
NVIDIA 的推理平台包括 TensorRT 和多个 NVIDIA CUDA-X AI? 库以及 NVIDIA GPU，不仅为对话式 AI 提供低延迟、高吞吐量的推理能力，还提供图像分类、欺诈识别和分割。
、对象检测和推荐引擎等应用程序提供低延迟、高吞吐量的推理能力。
该平台的功能被一些全球领先的企业和消费技术公司所使用，包括阿里巴巴、美国运通、百度、PayPal、Pinterest、Snap、腾讯和 Twitter。