当前位置: 首页 > 科技观察

神经渲染和AI生成框架的结合,可以让游戏速度提升5倍,英伟达就是这么做的

时间:2023-03-19 18:58:24 科技观察

此前,在一场直播活动中,英伟达CEO黄仁勋宣布推出DLSS3。DLSS的全称是是深度学习超级采样。是英伟达发布的深度学习超级采样技术。它具有突破性的光学多帧生成功能,为游戏提供了三个不可或缺的元素:提高帧率、最大限度地提高响应速度和提高图像质量。在一系列游戏和引擎中,与传统渲染相比,DLSS3有助于将GeForceRTX40系列的性能提高一倍:同时,Nvidia副总裁BryanCatanzaro在推特上宣称:Ada架构的DLSS3.0迈出了非常重要的一步!除了DL驱动的超分辨率,它还使用光流、运动矢量和DL来生成整个帧。DLSS3渲染的8个像素中有7个来自神经渲染。”这足以将渲染速度提高5倍。虽然这项惊人的技术目前仅限于几十款3D游戏,但神经渲染很快就会带来回报。这项技术将释放日常消费电子产品的新潜力。在大多数情况下,DLSS3在4K分辨率下比传统渲染技术快两到三倍。虽然Nvidia目前处于领先地位,但它也有竞争对手,例如英特尔的AI驱动的高端软件XeSS(Xe超级采样)和AMD的RDNA3图形架构。游戏在神经渲染方面处于领先地位,因为它们非常适合使用机器学习技术。谷歌高级研究员JonBarron表示:“只看图像的小块并试图猜测图像中缺少什么非常适合机器学习。机器擅长识别帧之间的相似性,包括那些帧速率高到足以掩盖运动。小虫子。”不过,DLSS3并不完美,在场景转换方面存在缺陷。但Barron和Catanzaro认为,在神经渲染模型中加入训练数据可以弥补这一缺陷。英特尔图形研究副总裁AntonKaplanyan认为,未来的神经渲染技术将使3D内容创作变得更加触手可及。不难看出,社交网络已经逐渐商品化。人们只需要点击一个按钮,拍张照片,然后分享给亲朋好友。如果我们想将这种体验带到3D中,我们需要吸引不懂专业工具的人成为内容创作者。2023年,3D神经渲染的提升速度将决定其未来。但与传统渲染相比,研究人员缺乏更多的经验。“计算机图形学非常棒,效果非常好,我们有很多方法可以解决可能永远存在的问题,”巴伦指出。下一个问题是图形行业何时会采用3D神经渲染作为替代方案。这种转变可能充满挑战,因为押注于错误的技术或错误的架构可能代价高昂。尽管如此,Catanzaro仍然相信3D神经渲染是不可阻挡的。他说:“我们会看到更多非凡的神经渲染技术,其中一些技术可以做阴影、折射和反射,未来我们会考虑比DLSS更强的神经渲染方法。我认为未来的图形领域会有并行使用多种方法。”神经渲染的最大好处是效率。神经渲染的魅力不仅在于它的潜在性能,还在于它的潜在效率。在Portal游戏中,DLSS3比RTX提供530%的增益,可以提高帧速率-或降低功耗DLSS3通过将帧速率限制在目标内来降低消耗。这样做,DLSS3降低了渲染每一帧的成本。NvidiaDLSS3不容小觑,因为消费电子领域面临着一个重要的问题,那就是摩尔定律已经结束,如果不是,那也只是挥之不去。卡坦扎罗说:“如你所知,摩尔定律已经失去了动力,我个人认为后摩尔图像是神经图像。对于英伟达来说,神经渲染已经成为了一种具有代表性的方法。它不需要繁殖。仅晶体管的数量就能为公司带来巨大的收益。”不过,英特尔的Kaplanyan并不认为摩尔定律已死,而是同意神经渲染可以提高效率。他说:“芯片的尺寸可以解决,我同意我们有很大的机会通过机器学习算法更有效地利用这种能量和这个领域来产生新的视觉效果。”这些公司都与设备制造商合作设计新的消费类笔记本电脑和平板电脑,因此效率是这三者的战场。对于设备制造商而言,效率的提高带来了更薄、更轻、电池寿命更长的设备,同时也提高了用户可以使用其设备的功能。显然,2023年将是消费设备中神经渲染的开创性一年。Nvidia支持DLSS3的RTX40系列将在各种台式机和笔记本电脑中推出;英特尔有望通过即将推出的Battlemage架构扩展其Arc图形产品线;AMD将推出更多使用RDNA3架构的变体。这些产品的发布为图形革命奠定了基础。当然,这不会在一夜之间发生,需要付出一些努力——但随着消费者对视觉效果和内容创作的需求越来越多,通过更小、更薄的创新,神经渲染可能是最好的交付方式。