当前位置: 首页 > 科技观察

就像变魔术一样,你可以在空中在屏幕上写字,只需捏动你的手指!

时间:2023-03-14 23:03:59 科技观察

本文经AI新媒体量子比特(公众号ID:QbitAI)授权转载,转载请联系出处。谁不想拥有空中画符这个副技能呢?不如把万能的AI捏成神笔。这是一款用于书写和绘画的手部追踪程序,开发者将其命名为YoHa(YourHandTracking)。本程序基于TensorFlow.js实现实时识别功能,可以达到不卡顿、不延迟的效果。您可以将手指变成画笔,只需用拳头就可以清除画布。用YoHa给自己画特效效果这么好,难怪它能获得555颗星。这个AI怎么玩?这个手势识别程序已经开源,开发者本杰明慷慨地为大家提供了使用“魔法”的机会。可以安装在自己的电脑上玩,一行代码轻松实现。npminstall@handtracking.io/yoha也可以在线试一下,直接用网页下载模型写写画画。YoHa虽然目前功能上只响应了捏手指和握拳这两个命令动作,但是在TensorFlow.js的加持下,其性能一点也不低。21手关节定位、左右手方向检测、手势检测等均可实时实现。看看“买家秀”是不是同一个节目。原来你成不了法师的唯一原因就是符文画太丑了。这么好玩的AI背后的原理是什么?YoHa模型使用TensorFlow.js深度学习框架从头开始训练。开发过程包括两部分:训练步骤和推理步骤。其模型训练阶段采用自定义神经网络,以自定义数据集作为训练数据,使用TensorFlow.js推理框架进行在线实时推理。然而,由于TensorFlow.js的规模限制,与计算机相比,YoHa在移动设备上的表现不佳。另外YoHa的本地运行速度也比在线demo快很多,驯服AI还是需要带回家养才对。手势识别有什么用?YoHa的开发者Benjamin提到这个项目最初是为了增加网络的交互性:“现有的解决方案没有我想要的,所以我为自己创造了一个新的解决方案。”大哥,如果你没有你想要的,那就自己做一个吧。手势识别如此火爆,开发更多的玩法,加入更丰富的功能,让VR/AR变得更好玩。针对之前提到的YoHa性能缺陷,Benjamin还为玩家提供了一个高性能的替代方案:通用手势识别模型MediaPipe。如果高端玩家对性能有更高的追求,可以在这款经典机型的基础上进行功能扩展。比如不久前基于MediaPipe开发的类似项目air-drawing,在玩法上与YoHa略有不同。如果你有兴趣,就去驯服一个AI来写字画画吧。GitHub地址:https://github.com/handtracking-io/yoha演示地址:https://handtracking.io/draw_demo/https://loicmagne.github.io/air-drawing/