当前位置: 首页 > 科技观察

意念打字登Nature封面!每分钟写90个字符,准确率超99%

时间:2023-03-15 18:30:41 科技观察

介意在Nature的封面上打字!每分钟写90个字,准确率达99%以上。没想到脑机接口这么快就有了重大突破!它甚至登上了Nature的封面。一位截瘫患者正在用他的“意念”打出一个句子,大约0.5秒就能输出一个字母。准确率也很惊人,高达99.1%。他只需要在脑海中“手写”字母,系统就会自动识别生成字母,一分钟可以写出90个字符。这个词虽然写得不好,但至少得到了大自然的“眷顾”。值得一提的是,在此之前,在另一个测试项目中,这位患者尝试通过移动光标“意念”打字,但一分钟内只能打出13.4个正确字符。这项研究一出,就引起了学界和网友的极大关注。除了恭喜,华盛顿大学的一位教授甚至说:我比它还慢!RNN做出了贡献。这位代号为T5的老人被植入了来自Braingate的两个电极阵列的大脑中,每个电极阵列包含96个电极。实验之初,遇到了第一个难点:如何识别用户是什么时候开始尝试写信的。最后发现原来用于语音识别的模型可以完成这个任务。解决了这个问题后,研究人员发现,书写单个汉字时观察到的大脑活动相对固定,始终集中。用于书写类似形状字母(例如“b”和“p”)的区域也很接近。看起来即使在多年的瘫痪之后,运动皮层中手写的神经表征也没有消失。经过人工标注后,这些数据就可以作为原始数据集。接下来是算法,研究人员选择了递归神经网络(RNN)。与常见的前馈神经网络相比,RNN对数据序列中的每个元素执行相同的任务,计算结果依赖于之前所有的结果,因此以循环命名。RNN更擅长预测连续数据,适合本研究连续写一句话。RNN虽然强大,但是有一个缺点,就是需要的数据量很大,否则容易过拟合。老人是唯一参与研究的对象,他不愿意每天花好几个小时反复撰写和提供数据。不过没关系,还有DataAugmentation。就是对每个图像数据做一些小的改变,比如旋转,缩放,或者镜像翻转,来增加数据的多样性。除了26个字母外,输入英文时还必须有一些必要的标点符号。比如对于空格,研究人员让老人用>来代替。如果英文只有一个点,很难区分,所以用~代替。还有逗号、逗号和问号。然而,这项研究没有包括数字。可能是研究人员发现很难区分z和2,留到下一次再说。训练开始使用的数据只有242个句子,之后每天都在增加,最后一共是572个句子,31472个字符。最后,为了解决部分英文字母过于相似的问题,研究人员还设计了一套专门用于脑机接口的字母表进行测试。准确率会高很多,但是有学习成本。字符准确率高达99.1%。然后,就到了志愿者测试阶段。根据屏幕提示,自愿在大脑中一个字母一个字母地抄写,字符在屏幕上被识别生成。测试结果表明,从大脑“手写”字符到字符出现在屏幕上之间会有延迟,大约0.4-0.7秒。整体而言,志愿者平均每分钟可打出18个字、90个字,错字率仅为5.9%。经过类似手机自动纠错的预测语言模型,他们进一步将字符准确率提高到99.1%。单词错误率也从25.1%下降到3.4%。此外,志愿者们还进行了一些自主创作——不用抄,自己“写”句子。结果,他们每分钟也可以输入73.8个字符。经过预测语言模型修正后,准确率超过97%。最后,为了挑战极限,研究人员还训练了一个新的RNN。用户写下整个句子后,将对其进行集中处理。这种方法的正确率高达99.83%,但用户不会得到实时反馈。事实上,这实际上是BrainGate项目的一部分。这是一个多机构联合体的项目,包括布朗大学和美国生物技术公司Cyber??kinetics,专注于脑机接口技术,致力于为患有神经系统疾病、受伤或失去肢体的人恢复沟通、行动能力和独立性。此前,该项目实现了脑机接口信号的无线传输,让患者离开实验室环境,在家中轻松在线观看视频。斯坦福大学霍华德休斯医学研究所(HHMI)研究员、论文作者之一KrishnaShenoy表示,这项研究最大的创新在于破译了与手写笔记相关的大脑信号,让截瘫患者能够快速打字,准确。该论文的第一作者,同样来自斯坦福大学的FrankWillett博士,表示将开源整个研究的代码和神经数据。目前还不是一个完整的、临床商用的系统,毕竟只在一个人身上做过测试。接下来将在更多的测试组、打字功能的扩展(编辑、删除)、字符集的扩展(如大写字母、其他语言)等方面进行改进。有可能梦想一门中文吗?除此之外,还有其他值得讨论的因素,例如成本和风险。华盛顿大学生物工程系学者PavithraRajeswaran和电气与计算机工程系学者AmyOrsborn表示,这项研究还需要通过实验来证明,植入电极的成本和风险是否在大脑中是有道理的。受惠的不只是瘫痪者除了瘫痪者,还有因其他伤势打字有困难的人,都非常兴奋!比如闭锁综合征,一些神经的损伤导致一些身体机能的退化或消失。意识虽然清晰,却无法通过语言进行交流。还有因鼠标使用或打字不当引起的重复性压力损伤(RSI),包括鼠标手、腱鞘炎等。一位RSI患者说,我还需要一个可以模仿鼠标滚轮的功能,但是网友回答说你用脚踏板或者眼球追踪比侵入式脑机接口简单多了。看到这条消息,网友们也??是脑洞大开。有些人发现想象自己用手写字和直接想象自己脑海中的痕迹是不一样的感觉,不知道哪个更容易认出来。或者,你也试着在脑子里写?(手动狗头)论文链接:[1]https://www.nature.com/articles/s41586-021-03506-2