据外媒ROADTOVR报道，MetaRealityLabs的研究人员构建了一款可支持Codec渲染的VR头盔原型Avatars项目并配备了专用于AI处理的定制加速器芯片。早在Facebook更名为Meta之前，该公司就一直致力于CodecAvatars项目，旨在制作VR“照片般逼真的”头像。该系统结合了人工智能处理和设备上的眼球追踪、嘴巴追踪和其他传感器，以尽可能接近现实的方式将用户的脸投射到虚拟世界中。早期版本的CodecAvatars研究得到了NVIDIATitanXGPU强大计算能力的支持。但在像Meta最新的Quest2一体机这样的设备上，它并不能很好地工作。也正是因为如此，Meta正在研究如何在低功耗一体机上实现CodecAvatars项目的功能。在上个月IEEECICC会议上发表的一篇论文中，Meta透露，它正在设计一种使用7nm工艺的定制芯片，作为CodecAvatars的加速器。事实上，Meta的造核计划早在2018年就开始了。2018年4月，Facebook聘请ShahriarRabii担任副总裁兼筹码负责人。Rabii此前曾在谷歌工作，参与了Pixel手机的VisualCore等芯片的开发。据研究人员称，该芯片从纸上谈兵到现实还有很长的路要走。在芯片设计过程中，设计人员考虑了生成CodecAvatars模型所需的数据。“测试芯片采用7nm工艺，具有神经网络加速器，由1024乘法累加阵列、2MB片上SRAM、32位RISC-VCPU组成。”研究人员说。另一方面，为了配合芯片的特定架构，设计人员还重构了部分CodecAvatarsAI模型。RealityLabs研究人员写道：“我们通过重建基于卷积神经网络的眼睛注视模型并针对硬件对其进行定制，使该模型更适合芯片。这减少了芯片外内存访问的能耗和延迟。”加速芯片不仅可以加快模型的运行速度，还可以通过对工作量大的部分CodecAvatars进行加速来降低功耗和发热。由于芯片的定制化优势，定制化芯片在功耗和音量控制方面比通用CPU更具优势。据研究人员称，该芯片已经能够以每秒30帧的速度运行CodecAvatars模型。并同时实现低功耗和小尺寸。得益于专用芯片的加速，Meta的CodecAvatars或许能够在一体机PC上运行。但目前我们不知道头像的视觉渲染效果如何。在非一体机上运行时，模型会非常详细地扫描用户建模，这可能过于复杂，无法在Quest2等一体机上完整呈现。在这种客观条件的制约下，CodecAvatars强大的“逼真”画面将如何呈现尚不得而知。我们可以想象，通过这颗专门设计的加速芯片，可以实现一系列XR特有的功能。例如，在XR世界中实现空间音频是XR游戏玩家乐于看到的，可以增加沉浸感。但逼真的声音模拟不仅会在实际使用中增加成本，还会影响电池寿命。此外，位置追踪和手势追踪也是XR体验的关键部分，在这些地方结合硬件和算法进行设计，可以让XR设备在速度和功耗上实现巨大的提升。
