当前位置: 首页 > 科技观察

袖口里的“超能力”:Facebook腕带AR传感器,可以隔空打字,控制界面,LeCun点赞

时间:2023-03-23 11:28:03 科技观察

出处。动动双手,就能“掌控”一切?Facebook最近宣布的腕戴式AR传感器可以让你在虚拟世界中获得与猩红女巫相同的技能。这款设备由Facebook的AR/VR研究部门——FacebookRealityLabs(FRL)开发,佩戴者可以通过手腕上的电运动神经信号,用手指的动作来控制AR眼镜。就连被誉为卷积网络之父、Facebook首席AI科学家的图灵奖得主YannLeCun也对其赞不绝口。功能不断升级那么,它可以用来做什么呢?据官方介绍,无论是走在路上还是坐着,都可以通过腕带进行控制,双手放在身前、侧身或口袋里。最初,腕带只能通过拇指和食指的捏合和松开手势进行简单的点击操作。后来又加入了更丰富的控件,比如可以触摸和移动虚拟物体。此外,研究团队还在进一步探索,尝试开发在桌上或膝上高速打字的功能,甚至可以达到比使用键盘更快的打字速度。与物理键盘相比,虚拟键盘不仅可以随时使用,还可以随着时间的推移学习和适应每个人不同的打字风格,产生适应性变化,从而达到更快的打字速度。FRL团队在个性化模型方面取得了重要进展,能够缩短适应个人风格的键盘模型的训练时间。不仅如此,FRL研究科学总监HrvojeBenko表示:“我们相信可穿戴腕戴设备可以为AR眼镜提供超低摩擦、即用型输入,但它们并不是完整的解决方案像鼠标一样作为用户界面的一部分,我们需要帮助他们进行意图预测和用户建模,以实时适应用户和特定环境。因此,FRL团队目前正在探索适应特定环境的自适应界面,实现“SmartClick”,即无需用户移动眼睛浏览菜单,系统主动提供自适应界面,通过FRLResearchScienceManagerTanyaJonker还补充道:“系统会学习用户所在位置和关键物体的信息,例如跑鞋或活动识别,并根据用户过去的行为预测意图。例如,当你穿着某双鞋出门时,通常会启动音乐程序。然后当你再次佩戴它出门时,系统认为你很可能想听音乐,所以显示屏会显示'你想播放音乐吗?’选项,用户通过简单的手势确认或更改建议。“使用这些微手势,用户不需要停下手头的事情,也不需要分心,从而节省了时间。Facebook的官方介绍中也提到,要实现这一功能,需要应用机器学习、人机交互、以及用户界面设计等技术,仍然存在诸多技术挑战,虽然采用超低摩擦输入方式可以实现与自适应界面的交互,但要感知虚拟物体,仍然需要触觉技术。,FRL研究科学总监肖恩凯勒说:“从出生时的第一次抓握,到操纵物体和在键盘上打字的灵巧性,手和手指都有丰富的反馈。我们通过触觉信号了解世界,这使我们能够使用工具和进行精细控制。从挥舞手术刀的外科医生到触摸琴键边缘的钢琴家,这一切都取决于触觉。“使用腕带,用户可以不用看,通过触觉进行识别和决策。比如虚拟弓箭,就是利用手腕上的触觉,给佩戴者一种类似拉弓的感觉,所以;根据用户的设置,当收到紧急邮件时,手环会发出比收到普通邮件时更强烈的振动;当有来电时,用户可以知道身份甚至,研究人员补充说:“触觉还可以传达不同的情绪,这可能是一种改善社交沟通的新方式。目前,Facebook团队正在构建研究原型,包括具有8个气动波纹管的Bellowband和使用6个振动执行器和新颖的手腕挤压机制的Tasbi,以进一步探索触觉反馈的类型。使用EMG技术这些功能的控制的实现依赖于EMG(肌电图)技术。EMG技术是利用传感器将通过手腕传输到手部的电动运动神经信号转换成数字指令。用户可以使用这些指令来控制设备这种级别的控制非常个性化,可以在多种情况下使用。根据Facebook的说法,通过手腕发出的信号非常清晰,即使是一毫米的手指运动也能被EMG感应到,因此可以毫不费力地甚至在未来甚至可以感应到移动手指的意图。神经运动接口的现任主管ThomasReardon说:“我们想做的神经接口是让用户使用周围神经系统的输出,尤其是大脑外的神经,来激活手和手指的运动直接控制机器的肌肉。“为什么选择手腕?FRL团队是这样解释的:手是人们接触世界的重要身体部位,戴在手腕上可以利用手丰富的控制功能,实现更好的交互功能。相比之下语音控制,可穿戴设备更易于在公共场合使用;类似手表的设计使其可以在日常和社交场合使用;手腕位置可以舒适地全天佩戴;并且被设计为单一设备以实现更方便的应用程序,无需手机或其他设备控制;放在手腕上的可穿戴设备也可以轻松充当计算、电池和天线的平台,同时支持多种传感器。网友关注这项技术LeCun的喜欢,自然引起了网友们的广泛关注,不少网友对此感到惊喜:“这就是真正的延时效果吗?看起来不错。”也有网友对这项技术的应用提出了想法:“这样可以让失去双手的人,仍然可以依靠神经来模拟手势,不是吗?”“毫无疑问,这可以用于连接假肢,并推进恢复和学习过程。”不过,有人质疑道:“什么?这不是很多年前的MYO手链吗?事实上,这款基于EMG技术的腕带原型MYO最初是由AR眼镜公司North的前身ThalmicLabs开发,其专利被初创公司CTRL-labs收购。2019年,Facebook斥资数亿美元收购了CTRL-labs,原研究团队也加入了FRL。同时,也有网友欣喜若狂:“早在几年前,我第一次看到关于Myo的文章时,就想知道它在VR应用中的潜力。很高兴现在已经开花结果了。”这款手环主要与Facebook正在开发的AR眼镜配合使用,上市时间尚未公布。