当前位置: 首页 > 科技赋能

解读 VR 音频的未来

时间:2024-05-22 10:36:34 科技赋能

多年来,VR 行业在无数方面取得了进步,包括人们认识到音频是 VR 体验的绝对关键元素。

一些大型 VR 电影,例如 Gorillaz 的 Saturnz Barz(灵魂屋)视频或 Lytro 的 Hallelujah 体验,侧重于实验性的听觉体验。

声音不仅仅是用于以渐进方式驱动听觉体验的线索,它可以彻底改变 VR 冒险,甚至影响整个故事情节。

以下是挑战声音极限的创作者的一些顶级工作:该行业将采用基于对象的音频来实现各种体验。

正如摄像机从一个点捕捉整个 3D 场景一样,高保真度立体声响复制麦克风用于表示给定时间场景的音频快照。

高保真度立体声响信号非常适合传达一般氛围,但它们对于精确定位单个声音而言可能不太完美,随着时间的推移,音频工程师的这一缺点变得越来越严重。

从今年早些时候开始,越来越多的音频工程师开始使用基于对象的音频和场景音频的混合来创建更真实的聆听体验。

基本上,基于对象的音频是指使用丰富的麦克风捕获的单个声音,而基于场景的音频是指使用高保真度立体声响复制麦克风捕获的一般声音范围。

在物理现实中,您听到的声音对您来说非常接近或重要(基于对象的音频),而其他一切都被视为背景声音(基于场景的音频)。

这种对象和场景音频的组合(而不是专有的高保真度立体声响复制)成为 VR 音频工作流程的行业标准只是时间问题。

利用基于对象的音频还为内容创建者提供了更多的创作自由,因为更容易操纵单个声音的后期制作效果 - 将其视为单个原始元素而不是一个大而杂乱的声音。

此外,基于对象的音频与迅速流行的 6DOF(六自由度)VR 内容配合得很好。

6DOF 的内容就像一个游戏 - 角色在空间中向各个方向移动,并让身体与环境中的物体互动。

当角色执行其中一项操作时,声音需要相应改变。

基于对象的音频实际上已经在 3D 游戏引擎中使用了很长时间,因为它可以更好地精确定位声音并轻松反映游戏中的变化。

随着越来越多的 6DOF 内容构建在游戏引擎上,似乎更多的音频工程师将被迫学习如何在游戏引擎中而不是传统的数字音频工作站中混合和掌握声音。

高品质的VR内容将会出现,更多玩家将拥抱空间音频。

空间音频是提供逼真 VR 体验的关键。

空间声源具有三维位置数据,让听者感觉到声音实际上来自这些视觉位置。

截至目前,YouTube和Facebook是目前唯一支持空间音频的知名播放器平台。

发布平台的这些限制阻碍了内容创作者在他们的作品中充分采用空间音频。

然而,随着声音的增加,渲染器或播放器最终必须支持空间音频。

当 Vimeo 在 3 月份推出 Vimeo 支持内容时,大量用户请求涉及空间音频功能的需求,官方帮助页面表示他们计划在不久的将来支持空间音频。

较小的参与者和平台将遵循 Facebook、YouTube 和 Vimeo 设定的道路。

随着用户对 VR 内容质量的标准不断提高,空间音频的采用也将与时俱进。

内容分发平台不采用空间音频的原因有很多。

主要原因之一是缺乏专用的 VR 音频格式和兼容的渲染器。

随着对基于对象的音频的更加重视,高保真度立体声响复制作为未来的标准格式将被逐步淘汰。

为了统一空间音频工作流程,GAO 格式于今年年初推出,为 VR 音频提供卓越的声音定位和质量。

GAO 由位于洛杉矶的空间音频公司 G'Audio Lab 开发,将对象和 Ambisonics 信号与立体声信号相结合。

“我们看到很多人观看我们的演示,从普通的立体声格式开始。

当他们看到声音被空间化并以高保真度立体声响复制格式传送的部分时,他们通常会开始微笑。

然后,当他们看到高分部分很多人都会忍不住笑起来,并感到非常惊讶。

”G'Audio Labs 业务开发总监 Brooklyn Earick 说道。

由于 GAO 配备了兼容的渲染器 SDK,因此采用空间音频平台比以往任何时候都更容易。

创作者将超越后期制作,创造新的聆听体验。

在将视觉效果与其相应的声音进行匹配方面,VR 音频已经接近实现准确性。

下一步将在后期制作期间(甚至更早)探索令人兴奋的新技术,以充分利用 VR 的可能性。

声音不仅仅是一种讲故事的线索,可以用来鼓励 VR 用户朝某个方向移动。

在一些新的用例中,如果您愿意,您实际上可以在同一体验中听到某些声音。

例如,下面录制的视频可以让用户比周围放置的其他乐器更清楚地听到他们所看到的内容。

这种新的声音浪潮不仅仅是当前技术发展的一部分。

在许多情况下,它将让位于革命性的新娱乐形式。

艺术家的虚拟画布是水平的、垂直的,超越了现实生活中舞台的物理尺寸。

音乐家现在可以在考虑音高、响度和时间的传统考虑的同时,使用“虚拟位置”进行演奏。

他们还在学习如何利用人类听觉来更深层次地影响这些体验。

您在现实生活中已经体验过的一些心理声学原理可以在 VR 中利用,使每次体验在个人层面上都有所不同。

尽管这一领域有很多需要考虑的地方,但我们对它的集体知识仍在不断发展。

VR 音频的进步将是完善主流消费者体验并为开拓者提供利用创新体验所需的工具的关键。

这三种趋势将大大有助于实现这两个目标,并将有助于塑造未来几年的行业。