In-sensormulti-tasklearningisnotonlyakey生物视觉的优势，也是人工智能的一大目标。然而，传统的硅视觉芯片具有显着的时间和能量开销。此外，训练传统的深度学习模型在边缘设备上既不可扩展也负担不起。在这里，来自中国科学院和香港大学的研究团队提出了一种材料算法协同设计，以低开销模仿人类视网膜的学习范式。基于具有高效激子离解和空间电荷传输特性的瓶刷形半导体p-NDI，开发了基于可穿戴晶体管的动态传感器储层计算系统，该系统在不同任务性能、衰减记忆和回波状态特性方面表现出优异的可分离性.结合忆阻有机二极管上的“读数”，RC识别手写字母和数字并对各种服装进行分类，准确率分别为98.04%、88.18%和91.76%（高于所有报告的有机半导体）。除了2D图像之外，RC的时空动力学自然地从基于事件的视频中提取特征，以98.62%的准确率对3种类型的手势进行分类。此外，计算成本明显低于传统的人工神经网络。这项工作为经济实惠且高效的光子神经形态系统提供了一种有前途的材料算法协同设计。题为“Wearablein-sensorreservoircomputingusingoptoelectronicpolymerswiththrough-spacecharge-transportcharacteristicsformulti-tasklearning”的研究发表于2023年1月28日的《Nature Communications》。人类视网膜不仅感知，而且同时处理光信号通过收集丰富的动态信号，从而加速下游视觉皮层中与任务相关的学习。视网膜和视觉皮层的协同作用是大脑高效、紧凑和快速学习多任务处理能力的基础，这是通用人工智能(AGI)的基本目标。相比之下，具有物理分离的传感、处理和存储单元的传统硅视觉芯片会产生大量的时间和能量开销，因为这些单元之间的大量和频繁的数据穿梭，以及顺序模数转换，这可能是基础能效的局限性。摩尔定律的放缓进一步加剧了这种情况。此外，在传统的深度学习模型中学习，例如时间信号的递归神经网络，在非常具体的任务上采用乏味的训练（例如，通过时间反向传播的梯度下降，BPTT），这在电池接入和外形因素方面很难实现。在尺寸受限的边缘设备上既不可扩展也不可负担。已经付出了巨大的努力来模拟人类视网膜和负担得起的学习范例。在材料方面，无机光响应二维半导体，如具有缺陷和杂质位点的MoS2，具有与Sn和S相关的双型缺陷态的SnS，层状含黑磷的氧化相关缺陷，表现出很强的光控效应钙钛矿量子点、能够捕获和释放电子的h-BN/WSe2异质结构以及表现出价态变化的MoOx是人工视网膜应用最广泛的材料。或者，本质上具有生物相容性、可穿戴和可扩展的有机半导体，例如PDVT-10、叶绿素掺杂的PDPP4T和并五苯/丝和CD双层，以更忠实的方式模仿生物对应物。事物。在算法方面，水库计算(RC)通过收集静止动力系统的衰落记忆将时间信号非线性地投射到特征空间中，被认为是边缘学习的有前途的解决方案。由于RC的学习仅限于长时记忆的读出层，因此相比传统的深度学习模型，训练成本显着降低。然而，它仍然未能设计出一种配对材料算法来结合高效的人工视网膜和经济实惠的基于RC的边缘学习来释放仿生神经形态视觉的多任务潜力。显示：传统半导体和p-NDI的光电流响应比较，以及传感器内RC系统的详细半导体设计原理。（来源：论文）在这里，中国科学院和香港大学的研究人员提出了一种具有高效激子离解和全空间电荷传输的光敏半导体聚合物(p-NDI)的材料算法协同设计属性，构建用于多任务模式分类的传感器内RC。灵活的神经形态设备基于具有p-NDI半导体通道的三端晶体管。由于其出色的光响应行为和非线性衰落记忆，该设备能够同时进行原位传感、记忆和预处理光输入（即对比度增强和降噪）。图：多任务分类性能。（来源：论文）此外，聚合物中激子解离/电荷复合动力学、光选通效应和全空间电荷传输特性之间的协同作用使基于晶体管的动态RC系统能够在不同任务上表现出色。可分离性、衰减记忆和回声状态特征。这些基于RC的视网膜与在忆阻有机离子凝胶二极管上实现的“读出功能”配对。全有机光电材料提供的信号预处理和动态RC协同作用，在识别手写字母和数字以及对各种服装分类方面分别达到了98.04%、88.18%和91.76%的准确率，这意味着服装款式和尺码多任务学习.系统整体准确率为88.00%，不仅能正确识别衣服，还能正确识别衣服尺码。尽管是2D图像，但RC的时空动力学用于对左手挥手、右手挥手和拍手手势的基于事件的视频进行分类，准确率为98.62%。插图：使用DVSGesture128数据集的基于事件的视频分类。（来源：论文）然而，这种基于p-NDI晶体管的RC不包含广泛用于突触有机电化学晶体管的液体电解质，增强了可扩展性和可操作性。这项工作为具有多任务学习能力的可穿戴、价格合理且高效的光子神经形态系统提供了一种有前途的材料-算法协同设计策略。论文链接：https://www.nature.com/articles/s41467-023-36205-9
