当前位置: 首页 > 科技赋能

【揭秘】低调的Oculus Touch背后到底有哪些黑科技?

时间:2024-05-22 16:13:00 科技赋能

业界各界人士和玩家都对旗舰Oculus Rift充满期待,期待惊喜。

国内不少厂商正在磨刀霍霍,盘算着明年的千亿盛宴。

相对而言,大家对于实现输入/手部追踪的Touch都沉默不语,十分冷清。

原因可能是表格中可供参考的相关信息太少。

大部分相关新闻都来自 YouTube 上的一段视频,其中 Palmer Luckey 接受记者采访有关 Touch。

因此,很难满足大家的好奇心。

本文作者基于对几位Oculuser的性格和优势的个人了解,试图从一个新的角度分析Touch的技术难点,并讨论其实现方法,以飨读者。

(帕尔默·卢克)首先,让我们回顾一下帕尔默演讲的要点。

触摸原型开发始于 DK1 时代,显然是在 Palmer 的领导下。

瞄准是虚拟世界中的一只手,您会忘记自己正在使用控制器。

拇指摇杆和食指开关以及中指上的抓取按钮上都安装了可以感应手指的传感器。

内置传感器阵列跟踪手指的自然社交运动,例如伸出食指指向某处、抓住东西、挥手和竖起大拇指手势。

在初步原型阶段(应该指采访的那一刻),拇指和食指的动作被假设为二元的(握住或张开)。

但目标不仅仅是感知二元状态。

然而,千人千手,算法如何适配是一个难题。

对于产品的最终形态,很多网友都在推特上追Palmer。

于是第二天,帕尔默主动表示不想先大肆宣扬,卖掉,留下期待和想象的空间。

(Oculus Touch)DK1诞生后被Facebook收购的好运气这里就不讨论了。

近年来,Oculus迎来了Steven M. LaValle(2020年9月)、Christoph Bregler(2011年12月-2018年11月)、Tom Forsyth(2018年5月)以及一大批Andrew Davison的学生,包括Richard Newcombe。

雷纳托·萨拉斯·莫雷诺和史蒂文·洛夫格罗夫(5 月)。

Andrew有一个学生,毕业于清华大学,现在在Oculus工作。

从纯粹的学术角度来看,我个人认为Oculus的第一位大师应该是Christoph Bregler。

克里斯是计算机视觉和图形专业的学生。

他曾在斯坦福大学和纽约大学待过,与好莱坞关系密切,但毕竟不是VR专业人士。

他的专业优势包括人体姿势光学跟踪(基于视频无标记运动捕捉)和机器学习(基于神经网络)。

然而,在 Oculus 工作了大约一年后,他几天前去了 Google。

他的离开给我的启发是,未来Oculus对于姿势追踪的技术思路可能是基于Marker的Mocap,也可能会使用大量“不依赖光学传感”的传感器和信息融合。

(Christoph Bregler)第二个Steve LaValle是VR专业人士,主要负责Sensor fusion、磁漂移校正和运动学建模。

两年多来,Steve 全职指导一批算法和软件工程师实现各种算法优化,包括“星座”跟踪系统、EKF 多传感器融合、IMU 解决方案等。

从技术角度来看,他应该是Touch(内部称为Toybox)的负责人。

在这种情况下,Touch的基本技术框架就是——多模态传感融合+手势识别。

史蒂夫本人不太擅长手势识别算法,很可能拒绝了克里斯的(纯视觉)想法。

这部分具体工作可能会留给Richard Newcombe等人,因为他们擅长利用光学+IMU之类的东西进行(手指/手势)识别。

不过,这次需要处理的并不是图像数据。

理查德和他的团队不会一帆风顺,主要是因为他们被困在成千上万人的手中。

这可能就是帕尔默不向记者说大话的原因。

对于史蒂夫来说,剩下的就是工程工作了,工作基本就完成了。

应该不会再出现像在东莞测得的重力加速度用在洛杉矶这样的尴尬事件了。

所以我开始写一本书,一本叫做《Virtual Reality》的新书。

封面已由专人设计,前五章(包括虚拟现实、几何、光学和生理视觉等的发展历史)已完成,后七章(包括渲染、运动检测、跟踪、界面、评测、语音、预览等)还在写中。

我希望尽快完成这本书。

(Steve LaValle)接下来我们来聊聊VR行业的大师Oliver Kreylos。

事实上,奥利弗从未加入Oculus,而是一名针对Oculus的“黑客”。

很多人都知道著名的“Constellation”位置跟踪系统,该系统首先在他的博客上公布(Github 上还有其他人在做类似的工作,但级别较低)。

现在Touch上也使用这个系统。

此后,许多评论者利用奥利弗的博文内容来攻击他。

据说触摸消失后需要五个时钟周期才能恢复光点身份,导致延迟过大。

事实上,这种说法是站不住脚的。

(Oliver Kreylos)还记得帕尔默说过的,光斑的位置经过多年的优化和安排吗?刚性物体(手柄或头盔)上的移动光点+有限元分析的结合可以在极短的时间内有效地达到目标。

恢复跟踪。

如果手柄经常位于视野之外,可以通过增加摄像头数量来解决问题。

谈论延迟就是被奥利弗愚弄了。

不可否认,Oliver Kreylos 是一位非常有成就的 VR 学者,但世界上没有人样样精通。

我们先简单介绍一下 Tom Forsyth,他曾是 Valve Entertainment 的一名经验丰富的软件工程师,现在负责 SDK。

他可能不太精通Unity。

今年 10 月之前,Oculus 没有专门的 Unity 工程师。

国内程序员流传了很多关于Oculus在Unity上犯愚蠢错误的笑话。

很难判断它们是真是假,所以我很抱歉在这里谈论它们。

我刚才讲的是领导级别的个人。

说到团队,如果分软件、硬件、CV、SLAM团队的话,我个人认为Oculus的SLAM团队是史上最强的。

名师出大弟子,甚至比微软、谷歌的人还要好。

CV团队拥有一大批具有创业经验和三到五年工程经验的MIT毕业生。

对软件团队的基本要求是精通点云库、状态估计、多模态信息融合。

看起来要求比国内同类型的初创公司要高一些。

至于电脑硬件,很多人还是UIUC的实习生,吃尽苦头。

毕竟硬件是我们在中国的强项。