在人工智能领域，反向传播算法（Backpropagation，BP）广泛应用于人工神经网络，采用全局优化策略。端到端的学习方法性能优异，但学习过程消耗大量能量且缺乏灵活性。中科院脑智能卓越中心徐博、蒲慕明联合研究团队近期利用生物网络中发现的介观尺度自组织反向传播机制（Self-backpropagation，SBP）开发出一种更高效的灵活的类脑局部学习方法。取得重要进展。有关该研究的论文《Self-backpropagation of synaptic modifications elevates the efficiency of spiking and artificial neural networks》于2021年10月20日（美国东部时间）在线发表在《科学》子期刊《Science Advances》上。论文地址：https://www.science.org/doi/10.1126/sciadv.abh0146使用SBP降低计算能耗SBP的发现可以追溯到1997年，PooMuming的团队在Nature上写道，海马体中的神经元可以自组织长期压抑（Long-termdepression，LTD）在三个方向的可塑性，即突触前横向扩展（Presynapticlateralspread）、突触后横向扩展（Postsynapticlateralspread）、反向传播（Backpropagation）[1]，这一发现是自组织反向传播（SBP）的神经可塑性机制。随后的研究证实，SBP现象具有普遍性，不仅涵盖了更多的神经区域，如视网膜顶盖系统[2]，还涵盖了更多的可塑性类型[3]，如长时程增强(LTP)。这种机制的发生归因于生物神经元中分子调制信号的自然反向传递，这被认为是可能导致生物神经网络有效反馈学习的关键[4]。受此机制启发，中科院研究团队单独构建了SBP反向传播方向（第三方向）的数学模型（图1A），强调神经元输出突触的可塑性可以反向传播到输入突触（图1B)，可塑性可以通过时间依赖性突触可塑性(Spiketiming-dependentplasticity,STDP)发生，也可以通过人工局部梯度进行调节。在一个标准的三层Spiking神经网络（SNN）的学习过程中，SBP机制可以自组织完成网络上一层权值的学习，并且可以结合短期可塑性（STP），膜电位平衡（Homeo-staticmembranepotential）等，形成更强大的SNN组合学习方法（图1C）。图1：SBP在SNN中的应用。(A),SBP塑性机制。(B)，SNN中SBP的局部反向传播。(C)，SNN中SBP和其他可塑性机制的组合优化。在受限玻尔兹曼机（RBM）（图2A）等一类人工神经网络（ANN）的学习中，SBP机制也可以在迭代过程中替代部分BP机制，实现交替协同优化（图2A）。2B-E）。鉴于SNN和RBM的不同，团队设置了两种不同的能量函数约束，以保证训练过程中网络参数学习的稳定性。图2：SBP在RBM中的应用。(A)，RBM??中SBP和BP的组合优化。(B),SBP和BP的交替协作过程。(C)，RBM??中的标准睡眠阶段。(D)，SBP的唤醒阶段。(E)，与BP的唤醒阶段。此外，研究团队还专门提出了一种计算训练时能量消耗的新方法（图3）。在图像分类（MNIST）、语音识别（NETtalk）、动态手势识别（DvsGesture）等多个标准数据集上，SBP机制通过结合其他可塑性机制实现了更低的能耗和更高精度的SNN局部学习（图4）.在ANN-RBM的学习中，SBP机制也可以大量替代BP机制，实现全局和局部的交叉学习，在不损失精度的情况下降低计算能耗（图5）。如图5C所示，使用SBP进行训练的计算成本比仅使用BP进行训练的计算成本低约57.1%。图3：训练能量消耗的计算。(A)，平均迭代次数。(B)，每次迭代的算法复杂度。图4：MNIST、NETtalk和DvsGesture三个数据集的性能比较。(A,C,E)，SBP分别基于基于梯度和基于可塑性的方法实现了SNN的最佳性能。(B,D,F)，SBP分别针对基于梯度和基于可塑性的方法实现了SNN的最低能量消耗。图5：SBP帮助RBM提高准确性并降低能耗。(A-C)，在MNIST数据集中，SBP可以少量减少RBM的训练误差(A)，同时平衡精度和能量消耗以获得最优的WakePhases数(B)，并且可以显着减少训练能量消耗（C）。(D-I)，在NETtalk和DvsGesture数据集上，SBP获得了与MNIST中相似的结论。研究人员认为，SBP是介观尺度上的一种特殊的生物可塑性机制。该机制在SNN和ANN中都获得了广泛的组合优化优势，对进一步探索类脑局部计算具有很大启发。生物智能计算的本质很可能是自组织局部学习，灵活融合多种微观和介观可塑性机制，结合遗传进化赋予的远程投影网络结构，实现高效的全局优化学习效果。这项工作可以进一步引导生物与人工网络的深度融合，最终实现具有高能效比、强解释性和高灵活性的新一代人工智能模型。中国科学院自动化研究所类脑智能研究中心张铁林副研究员为该研究的第一作者，徐博研究员为通讯作者，程翔（博士生）、贾顺成（博士生),蒲慕明研究员和曾毅研究员为共同作者。相关研究工作得到了国家自然科学基金、先驱B等项目的资助。
