近年来，动作捕捉能力的实际应用场景越来越多，比如科幻电影中的特效制作，虚拟游戏角色的制作等。其中大部分使用传统的动作捕捉程序。传统的动作捕捉通常有两种解决方案：光学捕捉和惯性捕捉。光学动作捕捉需要在人体关键点贴上反光标记，通过多个红外摄像头从不同角度追踪光标在人体上的位置。具有精度高、延迟低等优点。缺点是对场地要求严格，装备佩戴比较麻烦，价格也很贵。惯性运动捕捉系统利用陀螺仪、加速度计等惯性传感器捕捉人体关键骨骼的旋转信息。与光学动作捕捉相比，佩戴更方便，但精度较低，易受地磁干扰。无论是光学还是惯性动作捕捉系统，都需要佩戴专业的动作捕捉设备，成本较高。华为3D建模套件最新的动作捕捉能力只需要一个RGB摄像头就可以捕捉到人体关键点的旋转信息，让大家用手机就可以实现动作捕捉。技术支持那么，在没有辅助设备的情况下，华为是用什么技术来实现低门槛、高精度的动作捕捉能力呢？人体检测技术需要在动作捕捉前从图像中定位出人体的位置。人体检测技术可以返回包含人体的boundingbox，根据boundingbox裁剪出相应的区域可以去除多余的背景，方便后续的姿态估计。3D人体姿态估计技术的运动捕捉能力最关键的部分是基于深度学习的单目姿态估计算法可以从RGB图像中估计出人体关键点的3D位置和骨骼的旋转信息，从而能够应用于广泛的实际情况。场景。模型加速压缩技术动作捕捉算法最终部署在设备端。由于存储空间和功耗的限制，对模型的时延和大小要求非常严格。一方面，需要为移动设备的CPU设计合适的轻量级网络结构。另一方面，对训练好的float32模型进行参数量化，转化为int8模型，优化部分算子，压缩模型尺寸，显着提升推理速度。应用场景动捕能力最广泛、最直接的应用就是驱动分身，在虚拟直播、游戏、电影制作等场景都有很多需求。例如，在游戏中，利用动作捕捉能力，用户可以上传一段视频，捕捉其中角色的动作，并生成相应的数据来驱动游戏中的角色。此外，在短视频领域，动作捕捉能力也大有可为。基于模型的运动捕捉算法可以输出人体网格，可以在其上添加各种特效。此外，动作捕捉能力还有更多的应用场景有待开发，使用价值无限。华为的动作捕捉能力大大降低了各行业的开发和使用门槛。更多详情>>访问华为开发者联盟官网获取开发指导文档华为移动服务开源仓库地址：GitHub、Gitee关注我们，第一时间了解HMSCore最新技术资讯~
