当前位置: 首页 > 科技赋能

HTC Vive 发布空间音频 SDK,带来沉浸式聆听体验

时间:2024-05-22 16:21:30 科技赋能

听觉是 VR 体验中不可或缺的一部分。

除了视觉之外,真正的沉浸式体验还需要听觉来配合场景设置。

为了帮助开发者更方便地创造自然的三维音效,HTC Vive推出了3DSP Audio SDK。

3DSP是一个音频SDK,可以为应用程序提供具有空间音效的音频。

影响人类对音频空间感知的因素有很多,如声音进入两耳的时间差、两耳的电平差、人体耳廓、头部等部位的差异、环境因素(如房间声音反射和混合)。

噪音)以及声源与接收声音的人耳之间遇到的障碍物都会影响人的听觉。

为了让用户在VR中听到的声音尽可能真实,需要考虑声音发出和被听到之间的各种因素,使得VR中的声音尽可能接近人们在VR中听到的声音。

真实的空间,才能增加沉浸感。

高端Ambisonics(高保真立体声)传统的两声道立体声采用两个扬声器,通过人体双耳效应达到空间三维效果。

随着技术的不断进步,我们在VR中普遍使用Ambisonics这种音频技术,相当于将声源散布到整个球体的内表面并围绕着用户的头部。

Ambisonics 使用“球谐函数”来描述声场,让声音来自各个方向,带来更好的沉浸感。

然而,迄今为止简单且基本的Ambisonic系统只能在中心位置产生准确的声场。

随着听众远离中心以及频率增加,误差水平逐渐增加。

为了减少误差,可以增加球体的阶数以描述更复杂的谐波。

HTC 在其 3DSP SDK 演示中展示了三阶 Ambisonics 模型。

房间音频当用户处于虚拟房间中时,他或她必须考虑房间的复杂条件并相应地处理声音。

3DSP从早期反射、后期混响、背景噪声、环境材质等方面模拟房间音频,让用户获得更具空间感的声音。

值得一提的是,3DSP还确保该技术以低计算负载运行,减少设备的计算负担。

实际在距离模型空间中传播的声音会随着传播距离的增加而衰减,但不同情况下衰减变化是不同的。

在 HTC Vive 3DSP SDK 中,使用基于现实建模的距离模型,提供了多种情况下的声音衰减模型。

阻挡效应:当声源发出的声音遇到障碍物并被用户听到时,会因障碍物的阻挡而发生变化。

分析物体的几何特征,计算障碍物对声音的阻挡能力。

为了计算障碍物的阻挡能力,我们在空间中投射大量射线并枚举有多少条射线被障碍物阻挡。

不需要使用Unity碰撞器。

根据不同障碍物的具体面积和形状,计算观众通过障碍物后听到的声源的实际情况。

其他功能除了以上几点之外,HTC Vive 3DSP SDK 还具有以下功能。

基于精确模拟现实世界(包括水平和垂直方向)的头部相关变换函数(HRTF),可以获得适合所有声音的滤波器。

恢复空间音频。

(关于我们在我们被忽视的音频增强现实中提到的HRTF)原始声音和播放都使用高分辨率音频。