AR作为增强现实技术，带来了虚拟数字世界与现实世界的深度融合。对于虚拟室内设计等视觉交互场景，可以通过动作交互控制虚拟世界场景，实现无边界人机交互。比如人们在拍摄短视频时，只需要做出特定的手势就可以控制特效的切换，而无需触碰屏幕；拍照时还可以通过手势识别控制快门进行拍摄；还可以试指甲、试戴戒指等。以上AR应用场景需要准确的手部识别，这就需要AREngine的手骨追踪能力。手部骨骼追踪能力可以识别和追踪21个手部关节点的位置和姿势，输出手指端点、手掌方向、手部骨骼等手部高级特征，形成手部骨骼模型。当图像中出现多只手时，只反馈最清晰、置信度最高的那只手的识别结果和坐标信息。目前仅支持获取深度信息的指定华为机型。通过手部骨骼的识别能力，可以将虚拟物体叠加到更精确的手部位置，如指尖、手掌等；利用手骨，可以驱动虚拟手做出更丰富、更精细的控制动作，可以为AR应用提供增强的交互功能，方便开发更多新颖的玩法。手部骨骼定义图应用场景1.简单的手语翻译手部骨骼追踪能力可以形成简单的手语理解。在提取手部骨骼关键点的基础上，可以根据关键点的变化预测手部姿势，并将弯曲、垂直等手指状态集合映射到一组预定义的手势。“1”，此类算法推导的手势构成了手语理解的基础，可应用于手语识别和翻译。2、构建非接触式操作界面在科幻电影中，经常会出现人物在空中操作电脑界面的场景，而这样的功能也可以基于手骨的追踪能力来实现。通过摄像头对手部骨骼的识别和跟踪，可以精确定位指尖等关键节点信息，从而实现与虚拟物体的物理交互。例如用手指按下虚拟按钮或其他UI元素；捏合虚拟对象并释放菜单项；拉伸物理控制，例如大物体上的小目标；甚至可以手动调整对象大小或将它们存储在虚拟口袋中等。此功能可应用于医疗行业的机械控制、机车界面控制等。3.短视频Live交互AREngine的手骨追踪能力还可以在短视频通讯过程中添加一些特殊的手部效果，比如当用户拍摄短视频或直播时指定心心等手部动作时，可识别用户手势并叠加相应的特效或贴纸，实现手势触发特效、手部特效追踪等效果，丰富直播时的交互体验视频。此外，手骨追踪能力还可应用于影视动画制作、儿童教学、医疗康复、智能家居控制等领域。在AR技术飞速发展的今天，基于手势识别的人机交互逐渐成为热点。如何实现符合人类习惯的自然手势识别是人机交互界面的重要组成部分。作为手势识别的基础能力，手骨追踪也凸显了其在该领域的重要地位。华为AREngine希望这一能力能够帮助开发者启发更广阔的研究方向和更多创新的实际应用。更多详情>>访问华为开发者联盟官网获取开发指导文档华为移动服务开源仓库地址：GitHub、Gitee关注我们，第一时间了解HMSCore最新技术资讯~
