近年来,基于深度学习的神经解码器成为实现神经假肢灵巧直观控制的主要手段。人类甚至设想了这种假肢在医学领域的广泛应用。然而,由于深度学习对计算量的要求很高,很少有研究将其应用于临床。边缘计算设备的发展为解决这一问题提供了可能。在一篇新论文中,来自明尼苏达大学和其他机构的研究人员提出了一种基于嵌入式深度学习控制的神经假体实现。本研究中的神经解码器基于RNN架构设计,并部署在NVIDIAJetsonNano上。NVIDIAJetsonNano拥有不错的AI运算能力,但体型却非常小,可以让假肢佩戴者实时控制每根手指,同时还能自由活动。研究人员使用周围神经信号在桡骨截肢志愿者中评估了拟议的系统。实验结果表明,该系统可以在实验室和现实世界中提供稳健、准确(95-99%)、低延迟(50-120毫秒)的单指控制。据研究人员称,据他们所知,该系统是第一个在用于临床神经修复应用的便携式平台上有效实施深度学习神经解码器的系统。这种具有嵌入式人工智能的新型假肢系统可以作为新型可穿戴生物医学设备的基础,有助于加速深度神经网络在临床应用中的部署。论文链接:https://arxiv.org/pdf/2103.13452.pdf这一成就离不开以往研究的进展,包括Overstreet等人提出的连接神经纤维和生物电子系统的束内微电极阵列。2019年;Nguyen等人设计的Neuronix神经接口微芯片。2020年可同时进行神经记录和刺激;深度学习运动解码范式的优化,降低了Luu等人提出的解码器的计算复杂度。2021年;以及SOTA边缘计算平台软件硬件实现等。手臂控制器和可充电锂电池。下图是系统的原型。AI引擎重90克,锂电池(7.4V,2200mAh)重120克。在实践中,整个系统可以集成到假肢内部,取代假肢现有的ENG传感器和电子设备,同时对手臂的重量和美观影响最小。神经数据是通过研究人员之前提出的Scorpius神经接口获得的。每个Scorpius设备有8个记录通道,配备频率整形(FS)放大器和高精度模数转换器(ADC)。根据所需的通道数量,可以配置多个设备。FS神经记录器被证明能够在抑制伪影的同时获得超低噪声神经信号。原始神经数据直接发送到JetsonNano计算机进行进一步处理。该系统的核心是一个由JetsonNano平台驱动的人工智能引擎。研究人员设计了一个定制载板,为Nano模块提供电源管理和I/O连接。该模块可以工作在10W模式(4核CPU1900MHz,GPU1000GHz)或5W模式(2核CPU918MHz,GPU640MHz)。按照目前的电池大小,分别可以连续使用约2小时和4小时。在这套系统中,将训练好的深度学习模型部署在AI引擎上,将神经信号实时转化为个体手指动作的真实意图。最终预测被发送到手控制器以驱动假手。这只假手基于英国科技公司TouchBionics的i-Limb假肢平台,有五个独立驱动的手指。正如深度学习模型预测的那样,研究人员用直接操作隐藏在每个手指中的直流电机的定制手控制器取代了原来的i-Limb默认驱动器。该控制器围绕带有低功耗微控制器的ESP32模块设计。下面的图3更详细地显示了每个组件的硬件实现:有关此研究的更多详细信息可以在原始论文中找到。
