当前位置: 首页 > 科技赋能

高通产品管理副总裁!相信AR-VR的未来是移动

时间:2024-05-22 09:57:38 科技赋能

高通对虚拟现实和增强现实感兴趣,但对当前的技术并不满意。

该公司正在开发最新的移动处理器和其他技术,希望能够使 VR 和 AR “不受束缚”,能够以更高分辨率显示图像,使用更好的显示器,使其更轻、更节能。

,让我们可以长时间佩戴耳机。

随着时间的推移,高通希望将所有必要的技术嵌入到更小、更舒适的设备中。

高通公司产品管理副总裁蒂姆·利兰(Tim Leland)是负责实现这一愿景的人之一。

该媒体在旧金山 VRX 会议上采访了 Leland,讨论了高通对虚拟现实的看法、迄今为止在实现高质量无线 VR 方面取得的进展以及对增强现实的看法。

以下是为您整理的采访节选: 您能总结一下您在台上分享的内容吗?高通相信 VR 正在发生。

它会随着时间的推移而增长,然后继续增长。

随着新技术特别是显示技术的发展,VR和AR最终将融合,AR包含VR。

如果要进入VR模式,可以将显示转换为不透明。

AR 和 VR 将是同一个设备。

我认为我们并不过分担心增强现实、混合现实或混合现实中术语的连续性。

这就是一切的发展方向。

您将拥有可以放置在这个增强世界中并与之交互的虚拟对象。

它们将被正确锚定。

我们认为 AR 的未来是移动的,因为这是消费者想要的。

消费者不想被任何事物束缚。

就延迟而言,运动到光子和光子到光子延迟方面的应用程序性能存在物理限制,但这将得到解决。

如果将渲染系统与惯性或位置跟踪系统分离,就会出现限制。

您希望这些系统紧密耦合,并且至少可以在同一印刷电路板 (PCB) 上,但最好在同一片上系统 (SOC) 上。

在未来的产品中,我们将改进3D图形和多媒体性能并提高能源效率,这样您就不会处于必须在视觉质量+有线和较低视觉质量+无线之间进行选择的情况。

做出选择。

我见过 Facebook 和英特尔都在开发无线耳机、一体化耳机,无需 PC 电脑。

您认为这会发生吗?我们有大约 20 种 VR 耳机设计,主要是为了集成而设计,为了让我们在 VR 耳机市场上竞争,你必须能够在 5 瓦或更低的功率下完成所有必要的处理。

我们认为,如果不解决异常发热问题,就无法将这些主要为 PC 构建的架构引入到拓扑中。

我们也不认为你能获得四五个小时的电池续航时间。

我们在这方面有很多经验,这些经验是我们通过Daydream和其他耳机的开发积累的。

您对集成耳机和智能手机插槽的 VR 设备有何看法?在某些需求上,一体式耳机和插入智能手机的 VR 设备没有太大区别。

许多要求都是相同的。

我们一直在六自由度、运动追踪、由内向外追踪等方面努力。

为了让它发挥作用,你不想被任何东西束缚。

我们认为 VR 的未来是与 AR 的融合,而且将是移动的。

智能手机的定义也会随着时间而改变。

所有这些都可能是某种高度集成的移动可穿戴设备。

(高通和微软都宣布你的)Snapdragon芯片可以运行Windows 10。

我想在某个时候,你关心的将不再是单一平台,而是与所有平台的兼容性。

VR 是否适合这个更大的战略?我们与微软合作,我们与 Facebook 合作,我们与谷歌合作。

我们认为将会有一些VR云应用程序,所以你希望能够将数据来回传输到云端。

您希望在本地处理特定数量的任务。

您需要在与云服务交互时在本地执行机器学习的某些元素。

5G时代即将到来,这将是一项伟大的技术,它将减少无线客户端和服务器之间的延迟并增加上行链路和下行链路带宽,这些设备将产生大量数据。

例如,我们记录大量视频数据并将其发送回,以及高达 8K 分辨率的流媒体内容的下载。

集成连接组件、多模 5G 连接以及集成 Wi-Fi 和 Wi-gig 技术的结合非常出色。

这与用于显示管理的传感器采样和渲染子系统非常接近。

相当多的集成。

你听过(Epic Games 创始人)Tim Sweeney 的演讲吗?我听了。

我想知道他提到的一些技术的可行性如何。

他提到了单眼8K显示的Oakley眼镜。

我认为这个决议是可以实现的。

如果您希望它们一次运行很长时间,则需要更改控制台和 PC 中使用的一些强力方法,以满足这些轻薄设备的某些要求。

一些漂亮的视觉效果,那些花哨的色彩效果,你需要额外花费四到五瓦的功率才能实现,这是有代价的。

这可能不是正确的决定。

我们认为一些中间件,比如游戏引擎,将会不断发展,这样你就不会获得类似“嘿,看看这些很棒的视觉效果”的体验,但你将有一条电缆连接到一台一美元的电脑。

我们需要比背包式电脑做得更好,因为这不是消费者想要购买的东西。

我们需要关注消费者想要购买的产品,即可以同时使用AR和VR功能的超薄眼镜。

AR模式下您可以获得有趣且有用的数据;您还可以选择进入VR模式,体验卓越的体验:舒适、轻便、始终无线。

Tim Sweeney 提到,当前的显示器主要是为智能手机设计的,如果专门为 VR 开发内容,则可以使用不同的东西来实现高分辨率和低成本。

不仅是分辨率,还有色域。

这类似于注视点渲染,因此您不必强制通过更多像素进行渲染。

相反,您将渲染过程集中在眼睛实际聚焦的位置,并且在这个宽阔的视野内,您聚焦的区域并没有那么大。

这就是我所说的,仅使用传统的控制台和 PC 渲染方法无法处理视觉数据。

VR 行业必须保持灵活性才能实现这一目标。

我们必须共同努力,使之成为现实。

您同意 Sweeney 对元宇宙的看法吗?他看过我们的一些图形演示。

当我们在 Snapdragon、虚幻引擎 4 中展示它时,他对移动平台上可实现的视觉质量感到非常惊讶。

至于元宇宙?是的,我喜欢他说的比喻。

过去,您需要了解如何编写 HTML 和各种基本编码来创建网页并向互联网发布可视信息。

随着时间的推移,该工具集变得更加通用,因此每个人都可以创建自己的网站。

当谈到向单一设备的融合时,我感觉与他很接近。

很难说虚拟世界网站的最终形式会是什么样,但我同意他谈到的几个概念。

说到我们即将宣布的内容,对于 Snapdragon,我们做了一些改进。

其中一些位于相机子系统中。

有些是为了确保我们为客户提供的相机功能解决方案的完整性。

例如,在相机子系统中,我们现在支持Zig-zag HDR(HDR:高动态光渲染),这是一种空间方法,复用了不同的曝光级别、不同的曝光时间,因此可以获得这种HDR效果,并通过内部处理骁龙处理器。

这样可以在最高亮度下更好地映射阴影。

您将获得更好的阴影分辨率。

我们还进行了一些改进以支持 10 位显示器的高动态范围。

我们不仅能够以每秒 60 帧的速度解码 4K HDR 10 视频,而且还可以输出该视频。

不需要降低到标准动态范围的10位显示器可以始终保持高动态范围。

我们改进了图形性能。

我们一直在努力加速 Vulkan 性能开发。

我们将在 Snapdragon 上展示一些精彩的 VR 演示,我们的新 Snapdragon 芯片参考设计将使用高端 3D 图形和 4K HDR 视频。

具体内容我们还没有透露,只能说这是一款“新芯片”。

我们对视频编码子系统做了一些改进,所以我们正在做感知量化之类的事情。

我们不会统一量化编码场景中的每个可能的宏块,我们基于这样一个事实:如果你有这堵墙,你可能会对某些编码伪像比灌木和树木等纹理更敏感,或者移动速度非常快的东西。

我们的 Snapdragon Adreno 子系统中的新视频编码器使用感知量化而不是统一量化方法。

在模组方面,我们一直在与模组厂商合作,对三个不同的模组进行了预优化。

其中之一是百万像素 PDAF 传感器,具有出色的光学性能和极高的图像质量。

另一种是带有单个拜耳传感器的双摄像头,可实现最大程度的低光摄影。

三是宽视场光学变焦双摄方案。

另一个传感器上有一个望远镜镜头,可实现最大变焦。

我们还增强了一些扩展框架。

我们可以在光学变焦和数码变焦之间无缝切换。

我们对电子图像稳定进行了一些改进,这在变焦时特别有用。

我们拥有新的轨迹算法,可以更准确地采样一些传感器数据,以预测运动并抑制振动。

你认为这些事情会让像(Oculus 技术总监)John Carmack 这样的人更快乐吗?到目前为止他一直很挑剔。

我们一直在与卡马克进行对话。

总体而言,他在 Twitter 上对 Snapdragon 发表了非常积极的评价。

我们有兴趣在一些开发工具开始原型设计时获得他的反馈,并确保他们从 Snapdragon 中获得最佳性能。