转动手指和手掌，钢铁侠迅速完成了盔甲的制作，这神技让画面外的粉丝秒跪向下。钢铁侠的“纯手势感应”也成为了科技界热议的话题。那么普通人也能掌握这种疯狂炫酷的操作技能吗？能。快手给出了答案。快手推出“X神器”：秒变闪电手随着科技的发展，研究人员越来越多地寻找不同的人机交互方式，其中实时手势估计是研究方向之一科学家专注于一个。简单地说，手势估计是计算机理解人体肢体语言的一种手段。通过这项技术，人机交互不再局限于文本界面或鼠标和键盘控制的用户图像界面。近日，快手推出了手势估计功能，成为行业首创。这个功能赋予了普通人一个“扮X神器”：动动双手就能实现炫酷的特效。只要用户根据指令做出相应的手势，就可以添加各种有趣的特效。例如，用户可以在视频中扮演真正的“奥特曼”，发射动感光波球。还可以秒变狼爪闪电手。用来展现小时候崇拜的漫威形象的大招完全不是问题。当用户使用本产品进行拍摄时，算法会自动识别手型，并预估出手部关键点的位置。根据关键点的位置和手的类型，可以产生不同的特效或与屏幕内容进行人机交互。用户不仅可以通过手形触发相应的特效，还可以在指关节层面实现精准控制。该功能上线后，大量用户尝试了这些新颖的玩法。揭秘手势识别，快手解决了哪些问题？手势识别技术由快手于2016年组建的Y-Lab团队的手势研发团队开发。今年，为了开发更多能给用户带来新奇体验的新技术，快手组建了一支高学历研发人员团队，研究领域涉及人工智能、机器学习、计算机视觉、计算机图形学等。学习和增强现实。2018年，为了更好地将技术与产品结合，快手将Y-Lab更名为Y-tech。据Y-tech手势研发团队负责人介绍，手势识别技术是指检测图片或视频中的人手，并预测检测到的人手的手形和关键点位置的技术。常见的手势识别技术包括：手型识别、二维手势估计和三维手势估计。从手型识别到3D手势估计，需要识别的信息越来越多，研发难度呈指数级增长。在上面演示的功能中，包括：人手检测、手型识别和二维手势估计。目前手型识别在业界已经比较成熟，但是2D手姿态估计还不是很成熟。据介绍，快手应该是业内第一家将这项技术应用到移动端的公司。3D手姿态估计技术难度较大，目前只能通过双目、深度相机等特殊硬件实现。在开发手势识别的过程中，Y-tech团队积累了很多技术和解决方案，包括算法策略、网络结构设计、模型优化和底层加速等，这些经验也可以在其他场景中复用。与人工智能领域广泛应用的人脸识别相比，手势识别技术存在一定的技术难点。Y-tech手势研发负责人表示：“手部自由度高，自闭塞严重，特征不明显，与人脸相比，难度会更大。”以快手为例，该功能可同时检测多只手，最多支持17种手型，可识别21个手部二维关键点。为了实现这些功能，研发团队攻克了诸多问题：?人手在相机中所占比例较小，小目标的高效检测是目前业界的难题；?人手自遮挡严重，关节活动自由度高。?用户手机只有单目图像，需要纯视觉算法实现；?用户手机摄像头的拍照质量不同，用户对同一个手形有多种摆姿势。charge表示，团队首先改进了检测算法的框架，提高了小目标的检测能力，并根据人力特点整合先验知识，降低检测复杂度他的问题并取得改进的预测结果。由于不同用户的手机计算能力不同，如果要让同一个软件被更多的用户使用，就需要兼顾各种机型的情况。快手AILab从两个方面解决了这个问题：1.在算法层面，研发人员设计了高效的神经网络结构，在不同的模型上采用不同的算法策略；高度适配和性能优化，可使用CPU、GPU、NPU、DSP等多种运行模式，解决了AI技术运行受限于用户设备计算量的问题。下一步：在未来，我们将尝试3D手部重建。对于快手来说，在手机应用中加入手势识别功能是一种尝试。功能方面肯定有很多需要改进的地方。研发团队告诉我们，目前产品算法对运动模糊和手部重叠的处理还不够完善，这是接下来需要解决的问题。未来，团队将尝试在端进行3D手部重建，为更精准的动作识别和交互做技术储备。除了在短视频领域的应用，手势识别技术在游戏、增强现实、直播、教育等领域的应用也将成为趋势，也是快手探索的方向。手势识别技术发展至今，已有多家公司在不同领域进行了尝试。未来手势识别的应用场景也非常广阔。除了小手识别、运动模糊等传统问题，如何在端上结合双目摄像头的深度摄像头信息来提升手势识别的效果，也将是业界重点关注的问题。
