在接受我们的正式采访之前,张瑞波首先拿出了一副耳机,让小编试用一下他们的产品。
他没有用耳机听一段音频,而是插入耳机并拍摄一段随机视频,同时在剪辑师周围跺脚并在他耳边低语。
结束后,我戴着耳朵观看重播。
到了他在小编身后跺脚的地方,小编忍不住回头看了一眼,因为感觉后面真的有人在跺脚。
逼真的录音耳机是 3D 音频。
普通的视频录制方法也可以录制跺脚的声音,但它不会让你在聆听时察觉到声音的方向。
张瑞波是森盛科技创始人兼CEO。
他向小编展示的产品是该公司新推出的VR录音耳机Lifelike,已成功完成众筹。
除了这款消费级产品之外,他们还有一款专业级VR录音设备Sound Pano。
Lifelike可以录制有方向的3D音频,但它不适合全景视频,因为在全景视频中你会向前、向后、上、下、左、右看,并且全景的音频也需要根据方向变化例如,当您听到有人在您身后说话而您转过身时,声音听起来应该像有人在前面说话。
然而,Lifelike录制的声音是固定的,永远在你身后。
这类耳机的技术并不复杂。
左右耳机上各有一个麦克风。
用户戴上耳机后,两侧的麦克风可以记录声音到达耳朵时的变化,从而使生成的3D音频文件能够再现真实环境的效果,增加临场感。
它的主要用途包括 ASMR,但也可用于一般用途,以增强视频的音频体验。
然而,Lifelike 只有两个麦克风。
为了录制高品质的3D音频,需要配备更多麦克风的VR录音设备。
除了专业和消费类VR音频产品Lifelike之外,Sound Pano是森盛专业VR录音产品。
它是一种可以与全景视频结合并根据用户头部的旋转提供相应的3D音频的设备。
据介绍,Sound Pano可实现8路16轨48K 26bit无损数据采集,准确捕捉声源的方向、距离和运动轨迹。
具有立体声场感知效果,能够还原真实的声场关系。
其定制软件还拥有VR音频轨迹系统,支持同屏32个声源物体实时计算声场,并拥有自研的HRTF算法。
这款售价高达3万元的产品,自然与市面上售价一两千元的全景录音设备有很大不同。
张瑞波介绍,Sound Pano采用QB方案,而普通消费类VR录音产品通常采用FOA方案。
两者从录制过程的开始到结束都有明显的不同。
事实上,VR音频就是再现场景中的声场,让佩戴VR头盔的用户感受到与现场相同的声音。
因此,VR录音设备会模拟人的两只耳朵来聆听环境中的声音。
就像上面提到的栩栩如生一样。
QB和FOA方案的产品也是如此,区别在于两者的方法和效果。
FOA 解决方案非常小。
最基本的解决方案只需要4个麦克风,因此通常可以集成到全景相机中。
它利用这4个麦克风获取4个方向的声音,然后通过HRTF算法合成各个方向的声音。
。
QB方案的尺寸通常比较大,因为它涉及到模拟人两耳之间的宽度,并且对采集的相位和响度有要求,因此很难做得更小。
另外,从售价也可以看出,两者在成本上也存在较大差距。
当然,两者的音效会有很大的不同。
张瑞波表示,FOA方案在声场移相和感觉上与QB方案相比有比较大的距离。
小编也体验了两种方案制作的VR音频,很明显QB方案的声音更能还原场景的真实声音。
然而,QB和FOA这两种解决方案并不具有竞争力,而且市场定位存在显着差异。
前者搭配数十万元的专业级全景相机,制作专业级VR影视内容;后者更多地用于UGC领域,以增强消费级全景相机拍摄内容的体验。
让VR音频成为VR内容的标准。
VR强调沉浸感。
除了视觉上再现真实场景(或创造一个虚实结合的世界)之外,听觉也是沉浸感的重要组成部分。
高质量的VR视频需要音视频同步。
当用户在一维空间中环顾四周时,听到的声音也应该是不同的,尤其是在空间较小的场景中。
除了增强沉浸感之外,张瑞波表示,VR音频还可以成为导演引导用户视线的工具。
由于VR没有导演视角,用户可以在10度的场景中观看周围,很多VR电影都是分场景的。
有些导演使用视觉提示来引导用户,但使用声音来引导他们会更自然,就像在编辑体验时听到有人在你身后跺脚并突然转身一样。
对于未来,张瑞波希望VR音频能够成为VR内容的标配。
目前VR音频已广泛应用于VR游戏中。
由于该游戏是纯CG游戏,因此可以非常精确地知道物体在空间中的位置,从而更容易整合声音和图形。
相比之下,VR影视内容需要专业的VR录音设备才能实现声音的方向感和更好的沉浸感。
为了制定VR音频标准,森盛除了推出专业级、消费级的录音设备外,还需要制作自己的音频SDK,得到各内容平台(播放器)的支持。
张瑞波介绍,第一个支持的内容平台是橙子VR,公司也在与优酷VR、暴风魔镜等平台进行洽谈。