阅读完语言后，脑机接口还可以实时读取人脑中的图片。近日，由俄罗斯脑机接口公司Neurobotics与莫斯科物理技术学院（MIPT）合作开发的一种新型脑机接口算法公开。它可以利用人工神经网络和脑电图将人脑中的图像实时显示在电脑屏幕上。.而且，与马斯克的脑机接口公司开发的“大脑缝纫机”不同，这种脑机接口不需要开颅植入电极，在临床和日常生活中的应用更加广泛。受试者正在使用脑机接口。右下角是被试观看的实时图像，右上角是通过脑机接口重建的图像。今年7月，Facebook和加州大学旧金山分校（UCSF）关于脑机接口实时阅读人类语言的研究刚刚出现在《Nature》子期刊，其快速的效果解码机器学习算法是惊人的。现在看来，我们不仅有望实现“脑力打字”，还有可能利用人眼的“超高精度”摄像头来录制视频，实现科幻影视作品中描绘的画面。然而，莫斯科物理技术学院的论文尚未经过同行评审。在英剧《黑镜》的一集中，主人公在过海关时，被要求通过某种装置回放他用肉眼记录下的视觉记忆。对于研究人员来说，新的结果使得构建由大脑信号控制的中风后康复设备成为可能。该研究团队在bioRxiv上发表了相关研究论文，同时还发布了一段视频，展示了他们的“读心术”系统的效果。虽然画面比较模糊，但我们还是可以分辨出画面中大致的场景类别（比如人物、瀑布、汽车场景）。视频中的原图与经过神经网络处理后的脑电信号重建图对比（人像原图因版权原因已被替换）。要构建此设备，神经生物学家需要了解大脑如何编码信息。其中一个关键方面是研究人们观看视频时感知视觉信息的大脑活动。现有的解决方案要么使用fMRI提取观察到的图像，要么通过植入物直接分析来自神经元的信号。这两种方法在临床和日常生活中的应用都非常有限。俄罗斯研究人员开发的脑机接口依赖于人工神经网络和脑电图（EEG），这是一种通过不需要手术植入的非侵入性电极记录脑电波的技术。通过分析大脑活动，该系统可以实时再现人类看到的图像。“我们正在开展国家科技计划（NTI）神经网络辅助技术项目，致力于构建脑机接口，让中风患者控制手臂外骨骼、瘫痪患者驾驶电动轮椅等，最终目标MIPT神经机器人实验室负责人VladimirKonyshev说：“是为了让健康的人类也能提高神经控制的准确性。”技术细节脑机接口的构建实验分为两个阶段。第一阶段，神经生物学家让健康人观看10秒的YouTube片段，共计20分钟。研究团队随机选择了5个视频类别：抽象形式、瀑布、人脸、移动装置和汽车运动。通过分析脑电数据，研究人员发现每种视频的脑电波都不同。这让团队可以实时分析大脑对视频的反应。在第二阶段在实验中，研究人员从五个类别中随机选择了三个类别，并开发了一个本地反馈（nativefeedback）模型。以尽可能接近实际观察图像的形式呈现。该模型分为两个神经网络：一个用于从“噪声”生成随机类特定图像，另一个用于从EEG生成类似的“噪声”。接下来，该团队训练这两个网络协同工作，将EEG信号转换为与参与者所看到的相似的实际图像。论文中提到的局部反馈模型如下图所示。图2：局部反馈模型的总体方案。减少的20DEEG特征向量被映射到预训练图像自动编码器的潜在空间中，该图像自动编码器能够重建多个预学习类别的自然图像。图像解码器不依赖于任何神经生理学数据，可以仅考虑一组刺激图像进行预训练。特征映射器是单独训练的，因为它需要EEG特征库和经过训练的图像解码器。图像解码器图像解码器(ID)是图像到图像卷积自动编码器模型的一部分。编码器部分基于预训练的VGG-11模型。解码器部分包括一个用于维数增强的全连接输入层，然后是5个反卷积块，每个块包含一个反卷积层，然后是ReLU激活。最后的反卷积块包含双曲正切激活层。解码器生成192×192×3彩色图像（见图3a）。图3.图像解码器。a)模型结构；b)regulartraining除了图像重建，解码器还有特定的潜在空间分布。他们通过引入图3(b)所示的训练程序来解决这个问题。EEGFeatureMapperEEGFeatureMapper的目标是将数据从EEG特征域转换为图像解码器潜在空间域。理想情况下，观察到的图像和当前的脑电图记录最终会转化为相同的潜在空间矢量图，这样解码器就能够根据刚刚看到或想象的场景生成正确的视觉图像。另一个问题是如何处理噪声数据：实时记录场景中的EEG信号属性可能会由于未检测到的伪影或主体分心而发生显着变化。此时反馈系统应避免混乱的图像切换，以免对被观察物体造成太大的压力。人脑中的图像是连续数据，因此使用递归神经网络变得顺理成章——新算法使用LSTM组件作为递归单元。此外，研究人员还整合了一种注意力机制。图4.EEG特征图。a)模型结构；b)训练方法。测试结果为了测试系统表现心理活动的能力，研究人员选择了一些之前观看过的同类视频。当他们观看时，脑电图被记录下来，然后反馈给神经网络。该系统通过了测试，生成的图像有信心可以轻松分类90%。与大多数AI算法一样，研究人员提出的神经网络模型是用Python实现的，运行在普通台式电脑上：Inteli7处理器、NvidiaGeForce1050Ti显卡。在读取过程中，该算法每秒可以处理3帧。通常，大约90%的重建图像可识别用于分类。“此外，我们可以将其用作实时脑机接口的基础。以目前的技术，像ElonMusk这样的侵入式接口在手术上很复杂，而且降解速度很快——基本上会在几个月内失效。我们希望我们最终能够设计出更实用且不需要植入物的神经接口，”研究人员补充道。
