一般意义上，持续学习明显受限于灾难性遗忘，学习新任务通常会导致性能急剧下降旧任务。除此之外，近年来取得了越来越多的进步，在很大程度上扩大了对持续学习的理解和应用。对这个方向日益增长和广泛的兴趣证明了它的相关性和复杂性。论文地址：https://arxiv.org/abs/2302.00487本文对持续学习进行了全面的考察，试图在基本设置、理论基础、代表性方法和实际应用之间建立联系。基于现有的理论和实证结果，将持续学习的总体目标概括为：在资源效率的背景下确保适当的稳定性-可塑性权衡，以及足够的任务内/任务间泛化能力。提供最先进的详细分类法，广泛分析代表性策略如何解决持续学习问题，以及它们如何适应各种应用中的特定挑战。通过对当前持续学习的趋势、交叉方向的前景以及与神经科学的跨学科联系的深入讨论，相信这种整体视角可以极大地促进后续在该领域和其他领域的探索。简介学习是智能系统适应环境的基础。为了应对外界的变化，进化使人类和其他生物具有很强的适应性，能够不断地获取、更新、积累和利用知识[148]、[227]、[322]。自然地，我们期望人工智能(AI)系统以类似的方式进行调整。这激发了持续学习的研究，其中典型的设置是一个一个地学习一系列内容，并且表现得好像它是同时观察到的（图1，a）。这些可以是新技能、旧技能的新例子、不同的环境、不同的上下文等，并且包含特定的现实世界挑战[322]、[413]。由于内容是在一生中逐渐提供的，因此在许多文献中，持续学习也被称为增量学习或终身学习，但没有严格区分[70]、[227]。与基于静态数据分布的传统机器学习模型不同，持续学习的特点是从动态数据分布中学习。一个主要的挑战被称为灾难性遗忘[291]、[292]，其中适应新分布通常会导致捕获旧分布的能力大大降低。这种困境是学习可塑性和记忆稳定性之间权衡的一个方面：前者过多会干扰后者，反之亦然。除了简单地平衡这两个方面的“比率”之外，持续学习的理想解决方案应该实现强大的泛化，以适应任务内部和任务之间的分布差异（图1，b）。作为一个朴素的基线，重新训练所有旧的训练样本（如果允许）可以轻松解决上述挑战，但会产生巨大的计算和存储开销（以及潜在的隐私问题）。事实上，持续学习的主要目的是确保资源高效的模型更新，最好接近只学习新的训练样本。许多努力都致力于解决上述挑战，这些挑战在概念上可以分为五组（图1，c）：参考旧模型添加正则化项（基于正则化的方法）；近似和恢复旧数据分布（基于重放的方法）；显式操作优化程序（基于优化的方法）；学习稳健且泛化良好的表征（基于表征的方法）；使用适当设计的架构（基于架构的方法）构建任务自适应参数。该分类法扩展了常用分类法的最新进展，并为每个类别提供了细化的子目录。它总结了这些方法如何实现提出的一般目标，并提供了对其理论基础和典型实现的广泛分析。特别是，这些方法密切相关，例如正则化和回放最终在优化中修正了梯度方向，并且具有高度协同性，例如，可以通过从旧模型中提取知识来提高回放的效果。现实世界的应用程序对持续学习提出了特殊的挑战，这些挑战可以分为场景复杂性和任务特异性。例如前者，在训练和测试中可能缺乏任务预言（即执行哪个任务），训练样本可能是小批量甚至一次性引入。由于数据标记的成本和稀缺性，持续学习需要在小样本、半监督甚至无监督场景中有效。关于后者，虽然目前的进展主要集中在视觉分类，但其他视觉领域，如目标检测、语义分割和图像生成，以及其他相关领域，如强化学习(RL)、自然语言处理(NLP),和伦理考量）正在受到越来越多的关注，其机遇与挑战并存。考虑到人们对持续学习兴趣的显着增长，我们相信这项最新的综合调查可以为后续工作提供整体视角。尽管有一些关于持续学习的早期调查，覆盖范围相对较广[70]、[322]，但并未包括近年来的重要进展。相比之下，最先进的研究通常只编纂持续学习的局部方面，关于其生物学基础[148]、[156]、[186]、[227]、视觉分类的专门设置[85]、[283]、[289]、[346]，以及NLP[37]、[206]或RL[214]中的扩展。据我们所知，这是第一项系统总结持续学习最新进展的调查。基于这些优势，我们就当前趋势、交叉方向前景（例如，扩散模型、大规模预训练、视觉转换器、具体人工智能、神经压缩等）和跨学科的持续学习进行了深入讨论与神经科学的联系。主要贡献包括：(1)对连续学习的最新全面调查，以连接理论、方法和应用方面的进展；(2)基于现有理论和实证结果的连续体学习的总体目标，以及对代表性策略的回顾，详细分类；(3)将现实世界应用的特殊挑战分为场景复杂性和任务特殊性，并给出了持续学习策略如何适应这些挑战的广泛分析；(4)当前的研究动向和发展方向，以期为相关领域的后续工作提供参考。本文组织如下：在第2节中，我们介绍了持续学习的设置，包括其基本公式、典型场景和评估指标。在第3节中，我们总结了一些为达到一般目的而进行的持续学习的理论努力。在第4节中，我们提供了最新和详细的代表性策略分类，分析了它们的动机和典型实施。在第5节和第6节中，我们描述了这些策略如何适应场景复杂性和任务特异性的现实挑战。在第7节中，我们讨论了当前趋势、交叉方向的前景以及神经科学中的跨学科联系。在本节中，我们详细介绍了具有代表性的持续学习方法的分类（见图3和图1，c），并广泛分析了它们的主要动机、典型实现和经验特性。基于正则化的方法该方向的特点是添加显式正则化项以平衡新旧任务，这通常需要存储旧模型的冻结副本以供参考（见图4）。根据正则化的目标，这些方法可以分为两类。基于重放的方法将用于近似和恢复旧数据分布的方法分组到这个方向（参见图5）。根据回放的内容，这些方法可以进一步分为三个子方向，每个子方向都有自己的挑战。基于优化的方法不仅可以通过向损失函数添加附加项（例如正则化和重放）来持续学习，还可以通过显式设计和操作优化过程来持续学习。基于表示的方法属于此类方法，它们创建和利用连续学习表示的优势。除了早期通过元训练[185]获得的稀疏表示的工作外，最近的工作还试图结合自监督学习(SSL)[125]、[281]、[335]和大规模预训练[295]],[380],[456]来改进初始化和持续学习中的表示。请注意，这两种策略密切相关，因为预训练数据通常很大且没有明确标记，而SSL本身的性能主要通过对（一系列）下游任务进行微调来评估。下面，我们讨论有代表性的子方向。Architecture-basedapproaches上述策略主要侧重于学习具有共享参数集（即单个模型和参数空间）的所有增量任务，这是任务间干扰的主要原因。相反，构建特定于任务的参数可以明确解决这个问题。以前的工作通常根据网络架构是否固定将这个方向分为参数隔离和动态架构。本文侧重于实现特定任务参数的方法，将上述概念扩展到参数分配、模型分解和模块化网络（图8）。
