从AlphaGo到猜歌,谷歌一再向我们展示了人工智能的巨大威力。
前段时间,谷歌推出了新的AI实验网站Move Mirror。
Move Mirror 是一项人工智能实验,可让您通过运动以有趣的新方式探索图像。
当您在镜头前移动时,Move Mirror 会根据您的实时动作确定您的身体姿势,并将其与“匹配图像”中数百张世界各地摆出类似姿势的人的图像进行比较,以筛选出与您最相似的图像。
姿势。
您甚至可以捕获它以制作 GIF 并与您的朋友分享。
大致的工作原理是:它会使用PoseNet镜像图像中人体姿势对应的关节位置,经过分析后,它会从数据库中将与你的姿势最接近的图像与0个素材进行比较,这个过程只需要花费15 毫秒。
并且搜索结果会实时比较并随时更改。
这要归功于 TensorFlow。
Node.js,一个 Javascript 库,允许您在浏览器中运行机器学习项目。
通过将 PoseNet 移植到 TensorFlow。
使用 Node.js,任何拥有配备良好网络摄像头的 PC 或手机的人都可以在 Web 浏览器中体验和使用该技术。
关于隐私,当 PoseNet 由张量流驱动时。
当由 JavaScript 驱动时,这意味着姿势估计直接在浏览器中进行,您的图像不会存储或发送到服务器,并且所有图像识别都在本地执行。
所以你可以随意做一些看起来有趣或有点傻的事情。
正如上一段提到的,PoseNet 是剑桥大学开发的开源姿势估计工具。
它允许任何 Web 开发人员完全在浏览器中执行基于身体的交互。
不需要特殊的相机或 C++/Python 技能。
这是一个非常高级的手势。
估计模型可以从图像数据中提供高度准确的姿态数据,即使是一些模糊、低分辨率的黑白图片。
PoseNet 可以通过简单且易于访问的 Web API 降低姿态估计的入门门槛。
手势匹配和搜索是Move Mirror面临的难点。
PoseNet 检测面部和身体上的 17 个姿势关键点。
每个关键点都有三个重要的数据:(x,y)坐标位置(表示输入图像中 PoseNet 发现该关键点的像素位置)和置信度分数(PoseNet 的猜测有多正确)。
通过将关键点转换为向量并将它们绘制在高维空间中,找到了两个最相似的姿势。
然而,姿势估计是一个动态问题。
我们对匹配每个关节没有 % 的信心。
这时候我们就需要进行加权匹配,即不同关节的不同权重根据其重要性不同,以找到最相似的动作。
通过Move Mirror,谷歌团队展示了计算机视觉技术——姿势估计。
跟踪3D空间中的身体运动,姿态估计是一个非常复杂的问题,因为人的体型大小不同,有很多关节需要跟踪,周围的物体也会造成视觉遮挡(我们过去介绍过很多相关技术),一些使用轮椅和拐杖的人会影响相机的判断。
动作捕捉技术十年前就已经使用,以微软Kinect为代表的体感设备在游戏领域大放异彩。
然而,所使用的硬件价格昂贵,并且通常需要其他数据库和程序支持。
这些支持从未得到普及。
公共开发者和用户。
这就是 Move Mirror 脱颖而出的原因,因为它允许您仅使用浏览器和相机来完成此操作。
Move Mirror让我们能够与各种各样的人一起找到很多乐趣,通过你的动作来搜索舞蹈动作、电影片段或健身视频。
换句话说,使用姿势估计系统来帮助指导家庭瑜伽练习或物理治疗也是一个不错的选择。
虽然 Move Mirror 只是一个实验,但在 Google 团队眼中,这将是浏览器姿势实验的寒武纪大爆发。