在AR/VR社交、娱乐等应用中，往往需要创建个性化的3D形象来代表自己，所以如果未来的AR/VR走向ReadyPlayerOne电影的沉浸式观感，创建具有类人外观的3D化身变得越来越重要。目前，还没有通用的3D人像扫描解决方案。大多数AR/VR场景可能需要你去体积捕获工作室创建自己的3D图像，成本高昂且难以普及。为了解决这个问题，德国比勒费尔德大学、维尔茨堡大学和多特蒙德大学的研究人员开发了一种技术，可以使用中端智能手机生成3D头像，其特点是只需大约20分钟扫描就可以捕捉到鞋子的细节，服装的质地、亮度、阴影。扫描出来的头像支持骨骼绑定，还可以设置表情变化。研究人员表示：AR/VR娱乐、社交、交互场景对虚拟人像的保真度要求越来越高，包括外部细节、动作、行为等。平时只能靠几十个摄像头才能完成的人像拍摄任务，现在用低成本的基于手机的方案就可以完成，而且效果也足够好。据青听网介绍，该节目由两部分组成，分别拍摄身体和头部，拍摄一个人只需12分钟左右。通常，在使用手机进行3D建模时，会同时对同一物体进行一次完整的扫描和捕捉。德国研究人员方案的不同之处在于，将头部和身体分成两部分进行拍摄，可以捕捉到更多的细节。在捕捉头部的过程中，摄影师只需用手机将被摄者的头部转一圈即可进行拍摄。在抓拍身体的过程中，先转身拍下包括头部在内的上半身，再拍下半身再拍一张。对比实验表明，基于智能手机方案的3D采集接近于48摄像头的体积采集效果。此外，效果优于目前低成本的单目扫描方案。细节方面，这组研究人员使用了谷歌Pixel3的4K分辨率/30Hz摄影模式进行拍摄。整个拍摄过程历时110秒，其中全身视频拍摄需要80秒，头部拍摄需要30秒。用手机拍摄后，该算法可以从拍摄的视频中捕捉到135个关键节点，包括25个全身节点（用于合成2D骨骼）、42个双手势节点和68个面部节点。通过多视角3D重建、光流实时分析和每帧图像预测，实时生成两组密集点云数据。使用摄影测量软件AgisoftMetashape处理生成点云数据，然后结合边界框优化数据和算法。由于手机摄像头拍摄的虚拟人像网格存在噪声、离群点、数据缺失等问题，研究人员将拍摄到的人体节点与预设模板进行匹配，包括其位置、方向、比例等参数。模板网格对识别出的网格进行调整，填充缺失的数据，从而完成3D几何网格的重建。然后，研究人员对重建后的3D网格进行纹理渲染，并通过图像分割和拼接优化纹理渲染过程。据悉，图像分割优化减少了纹理的数量，用大纹理代替精细纹理。效果比AgisoftMetashape直接生成的纹理更清晰、更细致。整个过程耗时20分钟，其中3D捕捉4分钟，点云数据处理生成7分钟，节点识别与模板匹配2分钟，纹理生成7分钟。通过FacewareStudio（无标记3D面部动作捕捉方案）和UnityLive插件，可以实时控制表情。也就是说，扫描出来的3D人像可以直接通过实时姿势表情捕捉软件进行控制，对于AR/VR社交场景来说已经足够方便了。在对比实验中，研究人员扫描了33个人，发现基于智能手机解决方案的3D捕捉与48台相机的体积捕捉效果接近。但是，深色衣服很难扫描，被扫描的人需要保持静止。任何明显的移动都可能影响扫描数据的准确性，扫描眼镜、头发、配饰等物品也具有挑战性。总之，在本次实验中，研究人员发现，对头部进行二次扫描，可以大大提升面部建模的效果和细节。以后也可以单独对手臂等其他部位进行扫描，提高扫描效果和精度。同时，3D重建的虚拟人轮廓需要匹配细致的纹理和合适的骨骼。市面上的方案成本都比较高，但是本文的3D扫描方案已经足够低了。在使用方面，有望为虚拟图像和交互媒体带来更多的应用。
