作为全球最受关注的人工智能技术研究机构之一，谷歌DeepMind总是带给我们惊喜。在去年的官方总结中，DeepMind指出，“2016年，我们的另一个重要研究领域是记忆，尤其是如何将神经网络的决策智能与复杂结构化数据的存储和推理能力结合起来的问题。””最近，DeepMind发布了一项新的研究（这种方法不同于之前提出的PathNet），号称实现了神经网络的持续学习（ContinualLearning），让计算机程序不会忘记之前学习过的内容，并逐渐学习新的内容有规律。该论文结合生物学，突触弹性理论，讨论了突触不仅存储权重而且存储这个权重的不确定性的理论。该研究受到了很多关注，例如彭博社的报告该研究“可能为人工智能系统开辟新途径，使其更容易应用于各种任务，同时也应该提高人工智能系统在任务之间转移知识的能力，以及掌握一系列相互关联的步骤的能力。”heartofthemachine这里介绍DeepMind官方博文和研究相关的论文摘要，论文地址：http://www.pnas.org/content/early/2017/03/13/1611835114.full.pdf学习执行任务的计算机程序通常也会很快忘记它们。我们的研究表明，可以修改学习规则，以便程序在学习新任务的同时记住旧任务。这是朝着可以渐进和自适应学习的更智能机器迈出的重要一步。深度神经网络是目前最成功的机器学习技术，可用于解决语言翻??译、图像分类和图像生成等多种任务。然而，他们通常只有在一次呈现所有数据时才能学习多项任务。当网络针对特定任务进行训练时，其参数会逐渐适应以解决该任务。当引入新任务时，新的适应过程会覆盖网络先前获得的知识。这种现象在认知科学领域被称为“灾难性遗忘”，也被认为是神经网络的根本局限之一。相比之下，我们的大脑工作方式不同。我们可以逐步学习，一次学习一项技能，并在学习新任务时应用我们以前获得的知识。这也是我们最近发表在PNAS上的论文《Overcoming catastrophic forgetting in neural networks》的出发点。在本文中，我们提出了一种可以克服神经网络中灾难性遗忘的方法。我们受到神经科学的启发，涉及有关巩固哺乳动物和人类大脑中先前获得的技能和记忆的理论。神经科学家已经确定了大脑中的两种巩固类型：系统巩固和突触巩固。系统巩固是指将已经在我们大脑的快速学习部分获得的记忆烙印到我们大脑的慢速学习部分的过程。这种印记过程被认为是通过有意识或无意识的回忆发生的——例如，它可能发生在做梦的过程中。而对于第二种机制，突触巩固，这意味着如果某些突触连接在先前学习的任务中很重要，那么它们就不太可能被重写。具体来说，我们的算法从这种机制中汲取灵感来解决灾难性遗忘。神经网络由许多连接组成，其方式与大脑中的连接非常相似。学习一项任务后，我们计算每个连接对该任务的重要性。当我们学习一项新任务时，我们会根据连接对旧任务的重要性按比例修改连接保护。因此，可以在不修改先前任务中学到的内容的情况下学习新任务，并且不会产生大量的计算成本。我们可以将我们为每个连接应用的保护视为通过弹簧与先前的保护值相关联，弹簧的刚度与其连接的重要性成正比。出于这个原因，我们将我们的算法称为“弹性权重合并（EWC/ElasticWeightConsolidation）”。DeepMind的新AI程序学习同时处理两项任务为了测试我们的算法，我们让一个代理人接触连续的Atari游戏。仅根据分数精通一款游戏非常具有挑战性，但按顺序精通多款游戏则更加困难，因为每款游戏都需要单独的策略。如下图所示，在没有EWC的情况下，智能体在停止游戏后会很快忘记每场游戏（蓝色）。这意味着，平均而言，智能体几乎无法掌握任何游戏。但是，如果我们使用EWC（棕色和红色），智能体就不会轻易忘记游戏，并且可以一个接一个地掌握多个游戏。如今，计算机程序无法实时地从数据中进行自适应学习。尽管如此，我们已经证明灾难性遗忘对于神经网络来说并不是一座不可战胜的山峰。我们也希望这项研究代表朝着允许人们以更灵活和自动化的方式学习的计划迈出的又一步。我们的研究还促进了我们对大脑中突触巩固形成方式的理解。事实上，我们的研究所依据的神经科学理论目前仅在非常简单的例子中得到证明。通过证明这些相同的理论也可以应用于更现实和复杂的机器学习环境，我们希望进一步重视突触巩固是保留记忆和方法的关键这一观点。论文：克服神经网络中的灾难性遗忘摘要以顺序方式学习任务的能力对于人工智能的发展至关重要。到目前为止，神经网络还不能做到这一点，人们普遍认为灾难性遗忘是联结主义模型不可避免的特征。我们的研究表明，有可能克服这一限制，并训练网络在他们没有经历过的任务上长期保留专业知识。我们的方法有选择地减慢对这些任务很重要的权重的学习率。通过解决一系列基于手写数字数据集的分类任务并顺序学习多个Atari2600游戏，我们表明我们的方法具有可扩展性和有效性。原文：https://deepmind.com/blog/enabling-continual-learning-in-neural-networks/【本文为专栏机器心原创翻译，微信公众号》机器心（id：almosthuman2014）》】点此查看作者更多好文
