神经网络可以在许多任务上胜过人类，但如果你让人工智能系统吸收新的记忆，它们可能会暂时忘记之前学过的东西。现在，一项新研究揭示了神经网络通过睡眠阶段并帮助预防此类健忘症的新方法。人工神经网络的一个主要挑战是“灾难性遗忘”。当他们去学习一项新任务时，他们有一种不幸的倾向，即突然完全忘记他们以前学过的东西。本质上，神经网络对数据的表示是对原始数据进行面向任务的数据“压缩”，新学习的知识会覆盖过去的数据。与人类神经网络相比，这是当前技术的最大缺点之一：相比之下，人脑能够终身学习新任务，而不会影响其执行先前记忆任务的能力。我们并不完全理解其中的原因，但长期以来的研究表明，当学习时间穿插在睡眠中时，人脑的学习效果最好。睡眠显然有助于将最近的经历整合到长期记忆库中。“重组记忆实际上可能是生物体需要经历睡眠阶段的主要原因之一，”加州大学圣地亚哥分校的计算神经科学家ErikDelanois说。人工智能也能学会睡觉吗？之前的一些研究试图通过让人工智能模拟睡眠来解决灾难性遗忘。例如，当神经网络学习一项新任务时，一种称为交错训练的策略会同时向机器提供它们之前学习过的旧数据，以帮助它们保留过去的知识。这种方法以前被认为是模仿大脑在睡眠期间的工作方式——不断重放旧记忆。然而，科学家们假设，交错训练需要在神经网络每次想要学习新事物时，为其提供最初用于学习旧技能的所有数据。这不仅需要大量时间和数据，而且它似乎也不是生物大脑在真实睡眠中所做的事情——生物体既没有能力保留学习旧任务所需的所有数据，也没有是时候在睡觉时重播所有这些了。在一项新研究中，研究人员分析了灾难性遗忘背后的机制以及睡眠对预防该问题的影响。研究人员没有使用传统的神经网络，而是使用了更接近人脑的“脉冲神经网络”。在人工神经网络中，称为神经元的组件被输入数据并协同工作以解决问题，例如识别人脸。神经网络反复调整突触——其神经元之间的连接——并查看由此产生的行为模式是否会带来更好的解决方案。随着时间的推移（持续训练），网络会发现哪些模式最适合计算正确的结果。最后它采用这些模式作为默认模式，这些模式被认为部分模仿了人脑的学习过程。此图表示抽象突触空间中的记忆及其在睡眠和非睡眠期间的演变。在人工神经网络中，神经元的输出随着输入的变化而不断变化。相比之下，在尖峰神经网络(SNN)中，神经元仅在给定数量的输入信号后才会产生输出信号，这一过程忠实地再现了真实生物神经元的行为。由于尖峰神经网络很少触发，因此与典型的人工神经网络相比，它们传输的数据更少，并且原则上需要更少的功率和通信带宽。正如预期的那样，尖峰神经网络的特点是在初始学习期间发生灾难性遗忘，然而，在随后的几轮学习之后，随着时间的推移，参与学习第一个任务的一组神经元会丢失。重新激活。这更接近神经科学家目前认为的睡眠过程。简而言之：SNN使先前学习的记忆痕迹能够在离线处理睡眠期间自动重新激活，并在不中断的情况下修改突触权重。本研究使用带有强化学习的多层SNN来探索将新任务的训练周期与类似睡眠的自主活动周期交织在一起是否可以避免灾难性遗忘。值得注意的是，该研究表明，可以通过定期中断对新任务的强化学习来防止灾难性遗忘，类似于睡眠阶段的新任务。图1A显示了一个前馈尖峰神经网络，用于模拟从输入到输出的信号。位于输入层（I）和隐藏层（H）之间的神经元进行无监督学习（使用非奖励STDP），H层和输出（O）层之间的神经元进行强化学习（使用奖励STDP实现）。无监督学习允许隐藏层神经元从输入层的不同空间位置学习不同的粒子模式，而奖励STDP使输出层神经元能够根据输入层中检测到的粒子模式类型学习运动决策。研究人员以两种互补的方式训练网络。在任何一项任务中，网络都会学习区分奖励和惩罚的粒子模式，目标是获得尽可能多的奖励。该任务将模式可辨性（奖励与消耗的惩罚粒子的比率）视为性能度量，概率为0.5。所有报告的结果都基于至少10次具有不同随机网络初始化的试验。为了揭示训练和睡眠期间的突触重量动态，研究人员接下来追踪了“与任务相关”的突触，即在针对特定任务进行训练后在分布的前10%中识别出的突触。首先训练任务1，然后训练任务2，在每次任务训练后识别与任务相关的突触。接下来再次继续对任务1进行训练，但将其与睡眠时间交错（交错训练）：T1→T2→InterleavedS,T1。任务1-任务2的顺序训练导致忘记任务1，但在InterleavedS之后，任务1被重新学习，同时任务2也被保留（图4A和4B）。重要的是，该策略使我们能够将InterleavedS,T1训练后的突触权重与仅在任务1和任务2上训练后确定为任务相关的突触权重进行比较（图4C）。任务1训练后形成的任务1相关突触的分布结构（图4C；左上）在任务2训练（中上）后被破坏，但在InterleavedS、T1训练后部分恢复（右上）。任务2训练后任务2相关突触的分布结构（中下）在任务1训练（左下）后缺失，在InterleavedS、T1训练后部分保留（右下）。应该注意的是，这种定性模式可以在单个试验中清楚地观察到（图4C；蓝色条），也可以在试验中推广（图4C；橙色线）。因此，睡眠在合并新突触的同时保留了重要的突触。图4.新任务训练和睡眠的交错期允许整合与新任务相关的突触信息，同时保留旧任务信息。“有趣的是，我们并没有明确存储与早期记忆相关的数据，以便在睡眠期间人为地重放它们以防止遗忘，”该研究的合著者、捷克科学院计算机科学研究所的计算神经科学家PavelSanda说。.发现新策略有助于防止灾难性遗忘。脉冲神经网络在经历类似睡眠的阶段后能够执行这两项任务，研究人员认为他们的策略有助于保留与新旧任务相关的突触模式。“我们的工作证明了开发受生物启发的解决方案的实用性，”Delanois说。研究人员指出，他们的发现不仅限于脉冲神经网络。Sanda说，即将开展的工作表明，类似睡眠的阶段可能有助于“克服标准人工神经网络中的灾难性遗忘”。该研究于11月18日发表在《PLOS Computational Biology》杂志上。论文：《Sleep prevents catastrophic forgetting in spiking neural networks by forming a joint synaptic weight representation》论文地址：https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1010628
