当前位置: 首页 > 科技观察

喷上它就能凭空打字!鲍哲南团队开发新型智能皮肤,可准确识别手部动作,打字手语不在话下

时间:2023-03-14 10:07:11 科技观察

只需喷上它,然后凭空打字!鲍哲南的团队研发出一种新型智能皮肤,可以准确识别手部动作,打字和手语都变得轻松。请注意,此人前面没有键盘。但当他在桌子上做了一个打字动作后,电脑屏幕上出现了相应的字母:△亚克力板只打印了关键位置,并没有发出信号。这种神奇的“voidtyping”能力来自智能皮肤。与其他材料不同,它可以像喷雾一样涂抹在手上,带有一个微型电子网络,可以感知皮肤的变形。不仅仅是凭空打字,有了它,你甚至可以通过触摸3D物体来感知形状,并使用计算机识别手语。如果喷在脸上,它还能识别面部表情,做元宇宙表情达人(doge)指日可待。这款智能皮肤来自斯坦福保真安、建国大学、首尔国立大学和韩国科学技术院的团队。已经登上了NatureElectronics。那么它究竟是如何识别手势的呢?超薄皮肤如何识别手指信号?我们先来看看这款基于“超薄材料”的皮肤是如何采集手指信号的。总体而言,它由无线信号收发模块和纳米级网状网络组成。其中,无线模块用于采集和传输从人手感知的皮肤变形状态。当人体手指皮肤因拉伸而变形时,相应部位会改变网络的导电性(conductivity),从而成功传输手部运动信号。至于纳米级网络的“网线”,则采用“金包银”结构,即银线镀金。这样既能保证很强的拉伸性,又能抵抗反复摩擦,同时还能保证一定的透气性和生物相容性(降低过敏概率)。将智能皮肤喷在手上,只需要将手放入特殊的“打印机”中:之后,它会通过AI算法识别不同的手势信号,判断自己在做什么。该论文开发了一种基于对比学习的人工智能算法,可以区分不同的未标记运动信号。然而,虽然皮肤喷涂适用于不同大小的手,但人工智能算法却并非如此。一方面,目前为智能皮肤收集的AI数据有限,远远不够训练;另一方面,由于不同人手的差异较大,即使AI模型学习成功,应用到不同手上也会有不同的效果。如何解决这个问题呢?如何适应不同尺寸的手?作者想到了使用元学习来基于少量数据快速使AI算法适应不同大小的手。首先,基于已有的传感器信号数据进行无监督学习,使模型掌握基本的识别能力。然后采集任意一个用户击中9格数字的小镜头标注数据集,快速训练模型学习识别相应的动作,相当于为不同的人定制专属模型。这个想法也可以用来适应更多的其他任务。不仅输入9格数字,类似的预测也可以用于双手键盘输入。如果双手印有智能皮肤,当用户连续输入句子时,预测的字母就会出现在界面上。据作者KyunKyuKim介绍,如果这种智能皮肤能够进一步延伸到面部,也能更准确、高效、低成本地识别用户表情。作者简介论文作者分别来自斯坦福大学、韩国科学技术院(KAIST)、首尔国立大学和建国大学。第一个是KyunKyuKim,他目前是斯坦福大学的博士后研究员。他毕业于高丽大学,获得学士学位,并在首尔国立大学获得硕士学位。研究方向为人机交互,尤其是纳米材料与机器智能相结合的制造技术。通讯作者SunghoJo是KAIST的助理教授。他毕业于麻省理工学院,获得硕士和博士学位。他的研究兴趣包括智能机器人、人机交互、计算智能、计算神经工程、仿生系统设计、仿生学习与控制。通讯作者SeungHwanKo,首尔国立大学副教授,专注于下一代非传统微/纳米制造方法的开发,包括新材料开发、高分辨率直接映射工艺开发和应用开发。通讯作者鲍哲安是斯坦福大学化学工程、材料科学与工程教授,美国国家工程院院士。他的研究方向是利用化学、物理和材料科学开发人造电子皮肤。你知道在哪里使用这个智能皮肤吗?论文地址:https://www.nature.com/articles/s41928-022-00888-7