2017年9月26日——NVIDIA公司（纳斯达克股票代码：NVDA）今天推出了新的NVIDIA?TensorRT3AI推理软件，可显着提高推理性能并降低从云端到终端设备的成本，包括自动驾驶汽车和机器人。 TensorRT3与NVIDIAGPU相结合，可在图像和语音识别、自然语言处理、视觉搜索和个性化推荐等人工智能服务2的所有框架中实现超快速和高效的推理。此外，TensorRT和NVIDIATesla?GPU加速器的速度比CPU快40倍，成本仅为基于CPU的解决方案的十分之一。 NVIDIA创始人兼CEO黄仁勋先生表示：“互联网公司正在加快将人工智能注入数十亿用户所采用的服务的步伐。因此，AI推理的工作量也在呈指数级增长。”NVIDIATensorRT是世界上第一个可编程推理加速器。凭借CUDA的可编程性，TensorRT将能够加速深度神经网络日益多样化和复杂的增长趋势。通过TensorRT的大幅加速，服务提供商可以部署这些计算密集型AI工作负载。” 超过1,200家各行各业的公司已经采用NVIDIA推理平台从数据中获得新的见解并为企业和消费者部署智能服务。亚马逊、微软、Facebook和谷歌，以及阿里巴巴、百度、科大讯飞、京东和腾讯等中国领先企业，都已开始采用NVIDIA推理平台。 SAPCIOJuergenMueller说：“NVIDIA的人工智能平台使用基于TeslaGPU的TensorRT软件。这种尖端的领先技术满足了SAP不断增长的推理需求。TensorRT和NVIDIAGPU能够以最强大的机器学习性能和通用性实现实时服务交付，满足客户需求。” 京东人工智能与大数据部总监AndyChen表示：“京东使用NVIDIAGPU和软件进行推理。使用NVIDIA的TeslaGPU和TensorRT，我们能够同时对1,000个高清视频流执行实时推理，而服务器数量减少了20倍。NVIDIA的深度学习平台为京东带来了卓越的性能和效率。” TensorRT3是一款针对人工智能应用生产部署的高性能优化编译器和运行时引擎，用于在生产环境中部署深度学习程序。它可以快速优化、验证和部署经过训练的神经网络，从而在超大规模数据中心、嵌入式GPU或汽车GPU平台上实现推理。 确保高度准确的INT8和FP16网络执行，每年为数据中心运营商节省数百万美元的采购和电费。有了它，开发者可以在一天内完成神经网络的训练，创建一个比其训练框架快3到5倍的可部署推理解决方案。 为了进一步加速人工智能的发展，NVIDIA还推出了其他软件，包括： DeepStreamSDK：NVIDIADeepStreamSDK可以大规模提供实时、低延迟的视频分析。它可以帮助开发人员集成高级视频推理功能（包括INT8精度和GPU加速转码）以支持AI服务，例如使用单个Tesla?P4GPU加速器对多达30个高清流进行实时对象分类和场景解析。 ·CUDA9：NVIDIA加速计算软件平台CUDA?的最新版本。该版本支持NVIDIAVolta架构，库速度提升5倍，为线程管理提供新的编程模型，更新调试分析工具，可提供HPC和深度学习应用。加速度。CUDA9经过优化，可在使用TeslaV100GPU加速器时提供最高性能。 数据中心推理 数据中心经理需要不断平衡性能和效率，以确保他们的服务器群处于最高生产力。TeslaGPU加速服务器可以替代一百多台超大规模CPU服务器来运行深度学习推理应用程序和服务，节省宝贵的机架空间，降低电力和冷却需求，并实现高达90%的成本降低。 NVIDIATeslaGPU加速器提供卓越的推理解决方案，为深度学习推理工作负载提供最高吞吐量、最佳效率和最低延迟，通过AI推动新的AI体验。 自动驾驶汽车和嵌入式应用程序的推理 借助NVIDIA的统一架构，所有深度学习框架中的深度神经网络都可以在数据中心的NVIDIADGX?系统上进行训练，然后部署到数据中心的实时推理从机器人到自动驾驶汽车等各种设备的优势。 北京图森未来科技有限公司是一家研发自动驾驶卡车技术的初创公司。在实施TensorRT优化后，该公司的推理性能提高了30%。6月，该公司使用NVIDIAGPU和摄像头作为主要传感器，成功完成了从圣地亚哥到亚利桑那州尤马的170英里L4试驾。借助TensorRT带来的性能提升，途胜未来将能够分析更多的摄像头数据，为无人驾驶卡车添加全新的人工智能算法，而这一切都不会对响应速度造成任何影响。
