< titlesplit >Connect2021大会上，小扎将Facebook更名为Meta，全力出击Metaverse。在很多人看来，这只是一个元界的PPT。事实上，Meta一直致力于CodecAvatars项目，已经能够创造出逼真的虚拟角色，连发丝都分明。扎克伯格也来挑战“光剑变装”。你这么认为吗？不不不！肖扎没有唐艺昕酷，反而更搞笑一点。右手藏剑，左手亮剑：一瓶BBQ蘸汁。这是小扎在“Metaverse”中的虚拟形象（Avatar）。这段亮剑视频被很多人转发。自从Facebook更名为Meta并正式进入元宇宙以来，“元宇宙”这个词的热度就一直没有减弱。而“阿凡达”（Avatar）这个词经常和“Metaverse”一起被提及。“阿凡达”，通俗地说，就是虚拟世界中人物的形象。12月10日，“Metaverse”的开创者Meta开通了自己的虚拟世界平台Horizo??nWorlds。当用户进入地平线世界时，他们需要创建一个3D头像。有了头像，用户就可以在这个自定义的世界里自由发挥。不过，略显尴尬的是，这些分身的表情都十分僵硬。因此，虽然目前的3D虚拟化身还勉强可以使用，但与《头部玩家》等科幻电影中的逼真化身形象相去甚远。CodecAvatars项目代表了Meta在头像领域的努力。“Metaverse”不是PPT，Meta真的让小扎下定决心改名Facebook不是闹着玩的。想要在虚拟世界中实现真正的互动，虚拟分身就是打开虚拟世界之门的任督二脉。CodecAvatars是一个旨在实现一个系统的项目，该系统能够捕获和表示用于XR的逼真化身。基于3D捕捉和AI技术，CodecAvatars可以让人们快速、轻松地构建自己的虚拟形象，让虚拟空间中的交互如同在现实世界中一样自然。项目最初以高质量的头像demo开始，逐步实现了全身头像的搭建。除了简单地扫描一个人的身体之外，一个主要的挑战是让它以逼真的方式移动——更不用说让整个系统实时工作，以便可以在交互环境中使用化身。在Connect2021大会上，研究员YaserSheikh展示了团队的最新成果Full-bodyCodecAvatars。他说，CodecAvatars现在支持更复杂的眼球运动、面部表情、手部和身体姿势。此外，Meta还展示了虚拟人物头发和皮肤在不同光照条件和环境下的逼真渲染。那么，衣服也可以在虚拟世界中进行逼真模拟。拉的时候弹性好，摇的时候会有皱纹。身体细节和衣服都可以还原现实，还有高保真虚拟空间。Meta建造了一个虚拟公寓，公寓里的一切都是现实世界的反映。这样，用户在虚拟空间中的移动对象或交互可以与物理空间同步。现在，这似乎是公司构建映射的真实世界环境进行试验的“最佳案例”场景。一旦进入元宇宙，手动跟踪同样重要。如果在物理世界中摆动手臂进行交互，不仅累人，而且不美观。为此，Meta一直在研究一种更微妙、更自然的方法，即通过EMG腕带输入XR。前段时间，Meta还推出了一款触觉激活手套，旨在实现元宇宙中的新交互。如何构建Codex头像？Meta开始制作CodexAvatars的机会可以追溯到7年前。2014年，卡内基梅隆大学机器人研究所下属的3D捕捉实验室PanopticStudio的负责人YaserSheikh遇到了Oculus的首席科学家MichaelAbrash，两人聊得很投机。MichaelAbrashYaserSheikh于2015年加入Facebook（现为Meta），此后一直领导CodexAvatars研究团队。YaserSheikh“创建逼真的化身是基于测量，”CodexAvatars研究科学家ThomasSimon说。“头像依赖于精确的数据是真实的，而这需要良好的测量。因此，构建逼真的头像的关键是找到一种方法来测量人类表情中的身体细节，比如一个人眯眼或皱鼻子的方式。””匹兹堡实验室的CodecAvatars团队使用两个主要模块来测量人类表情：编码器和解码器。首先，编码器使用摄像头捕捉主体在做什么，然后将捕捉到的信息组装成代表一个人的身体和环境状态的唯一代码，可以将其发送到需要的地方。然后解码器将此代码转换为视频信号。普通的智能手机相机也可以拍摄生动的视频。然而，CodecAvatars是海量物理数据和复杂软件的结合体，比想象中要复杂得多。CodecAvatars项目使用数百个高分辨率相机捕捉面部细节，每个相机以每秒1GB的速度捕捉数据。什么概念？例如，这些摄像机记录的三秒数据足以填满一个512GB的磁盘。CodecAvatars团队持续录制了大约15分钟，这是他们现有硬件的极限，但尽可能多的数据也为打造最逼真的虚拟形象奠定了基础。CodecAvatars团队正在使用这些数据来训练可以从视频快速构建虚拟化身的AI系统。“我们现在可以恢复发型夸张的人的3D头像，甚至是戴着EEG帽的人，”Sheikh说。肖像画的方法之一。它提供了一种新的虚拟面对面交流方式，未来可以广泛推广。”随着CodecAvatars的出现，人们对“虚拟世界”社交的接受度会不会越来越高？羊毛布？
