编者按:近日,Oculus宣布以1万美元收购手势控制公司Pebbles。
我之前发表过一篇文章《Oculus 万美元收购Pebbles,到底图个啥?》从资本和Pebble产品体验的角度分析了Pebbles的价值。
本文将从技术角度介绍Pebbles Interfaces的产品细节。
读完这篇文章,你就能明白为什么 Oculus 要收购 Pebbles 了。
在 Oculus 的官方博客上,我们没有看到太多有关 Pebbles 的信息,除了他们“在过去的五年里开发了使用定制光学器件、传感系统和算术程序来检测和跟踪手部运动的技术。
“但这次收购似乎并不是向 Michael Abrash 位于华盛顿的实验室派遣更多研究人员的简单问题。
“Pebbles Interfaces 将加入 Oculus 的硬件工程和计算机视觉团队”,这意味着该团队的一些成员将专注于软件部分,而其余部分将专注于开发用于对象跟踪和检测的摄影技术,尽管没有明确说明,但根据 Oculus 的方向,它没有意义。
在上面的视频中,我们粗略地了解了 Pebbles 的相机。
Interfaces 现在用于手部追踪,博客称之为“定制光学器件”。
看来这款相机至少部分是由 Pebbles 自己开发的,如果他们 2018 年的 YouTube 视频可信的话,这也是第一款为深度运动跟踪设计的相机,根据 Pebbles 网站的存档版本,“他们。
开发先进的运动传感器,以任何范围或角度显示数字空间中的物理对象,没有任何延迟。
”请注意,我在这里说的不是手,而是对象。
在考虑更大的策略时,这一点非常重要。
除此之外,你有没有发现什么有趣的事情了吗?他手中的卡片没有受托人,但仍然在空间中被跟??踪,并且没有通过AR。
这是一个非常有趣的技术,稍后将在视频中用块来执行(显示完整的三-)换句话说,Oculus刚刚获得的Pebbles Interface不仅可以实现手部追踪(这在视频中清楚地演示了),而且最终还可以构建一个完整的物体检测系统,这可能是全立体物体检测所不可缺少的。
空间尺度的体验。
,这样您就不必将家具移出房间的中心。
但至少就目前而言,该节目的亮点是看起来非常强大的手/手指跟踪。
该视频展示了许多高度复杂的动作,这是当今市场上任何跟踪解决方案都无法实现的。
特别值得注意的是,该软件在发生堵塞时显然处理得很好。
显然,这东西打破痕迹的速度比公牛在瓷器店里把瓷盘砸成碎片还要快。
您可以看到指针不仅相互移动,而且还以低失真互锁(当然有可见的失真)。
值得一看的事实是,这里的图像是应用于手部的深度检测,而不是附加到手部运动的模型,这使得跟踪更难摆脱(失真有可能导致模型上的跟踪失效) 。
但这仍然很有趣。
最后,该解决方案可能不仅仅能够跟踪手、手指和物体。
Renana Perlovitch 在接受 Geektime 采访时表示,“Pebbles 不仅仅是运动,我们是一家身体传感公司……我们拥有非常独特的技术,可以让你身体的各个部位进入 VR 体验。
”是的!这是全身追踪——至少他们的公司代表是这么说的。
在我看来,Oculus 收购 Pebbles Interfaces 有四个目的:第一,帮助团队专注于由内而外的追踪解决方案,即使用 Rift 或 GearVR 上的前向摄像头来实现追踪;第二,实现空间中的跟踪物体检测,这样当你在虚拟世界时,你也可以安全、自由地在现实空间中移动;第三,与 Oculus 2016 年收购的 Nimble 团队开始手指和手部追踪工作;第四,最终实现全身VR体验。
此次收购只会进一步加强 Oculus 对计算机视觉作为跟踪解决方案的承诺。
四家专门从事计算机视觉的公司(Surreal Vision、Nimble Labs、The 13th Lab 和 Pebbles Interfaces)提供支持,再加上与微软的合作(微软也想在计算机视觉领域有所作为)——似乎如果你问任何人都可以为手部和手指跟踪以及物体检测提供完美的解决方案,那一定是Oculus。