当前位置: 首页 > 科技观察

AI也失忆?专访英国41岁教授:如何解决灾难性遗忘

时间:2023-03-19 21:19:56 科技观察

实现持续学习,让AI不断破局?最近,来自罗彻斯特大学的41岁计算机科学家克里斯托弗卡南在接受独家采访时表示,他正在构建算法,让人工智能能够随着时间的推移进行学习——就像我们人类一样。众所周知,灾难性遗忘AI在训练后“在测试范围内”的任务上表现良好,但这些算法不能像人类那样不断地用新信息更新它们的知识库。即使是为了学习一个新事物,算法也必须从头开始训练,代价是忘记它之前学过的几乎所有东西。由此带来的问题就是——“灾难性遗忘”(CatastrophicForgetting)。就像当你遇到一个新朋友并且你知道她的名字的唯一方法就是重新启动你的大脑。发生这种情况是因为神经网络学习新事物的方式。这些算法的学习需要改变神经元之间的连接强度,但这也代表了过去的知识,所以连接改变太多会导致遗忘。生物神经网络已经进化了数亿年的策略,以确保重要信息保持稳定。但是今天的人工神经网络很难在新旧知识之间取得良好的平衡。当网络看到新数据时,它们的连接很容易被覆盖,这可能导致突然而严重的无法识别过去的信息。1.你对哲学的研究如何影响了你对研究的思考方式?哲学教给你的是,“如何做出合理的论证”和“如何分析别人的论证?”我的实验室受到这个问题的启发:如果我们不能做X,我们怎么能做Y?我们会随着时间的推移学习,但神经网络不会,它的知识是固定的。所以未来人类要想创造出通用人工智能,这是一个必须要解决的基础问题。Kanan的研究笔记2.目前学术界在解决灾难性遗忘方面的进展如何?迄今为止最成功的方法称为回放,它存储过去的知识,然后在训练期间用新的数据集回放它,这样原始信息就不会丢失。这种方法的灵感来自于我们大脑中的记忆巩固过程(MemoryConsolidation),其中一天的学习内容在睡眠期间重新编码,并在神经元激活时重放。换句话说,新的学习并没有完全根除算法过去的知识。可以通过三种方式实现这一目标。最常见的方法是“现实回放”,其中研究人员存储原始输入的一个子集——例如,用于对象识别任务的原始图像——然后将这些存储的过去图像与学习到的新图像混合。第二种方法是重放图像的压缩表示。第三种不太常见的方法是“生成重播”。在这里,人工神经网络实际上生成了过去经验的合成版本,然后将该合成示例与新示例混合。我的实验室侧重于后两种方法。3.如果我们能够彻底解决灾难性遗忘,是否意味着人工智能可以随着时间的推移不断学习新事物?不完全的。我不认为持续学习领域的开放性问题是灾难性的遗忘。我真正感兴趣的是:过去的学习如何让未来的学习更有效率?未来的学习如何纠正过去的学习?这些是很少有人衡量的东西,我认为这样做是推动该领域向前发展的关键部分,因为实际上,这不仅仅是忘记一些东西,而是成为一个更好的学习者。ChristopherKanan:与现代神经网络相比,我们头脑中发生的事情肯定多得多。我们需要建立正确的实验和算法设置来衡量过去的学习是否有助于未来的学习。现在最大的问题是我们没有很好的数据集来研究持续学习,我们基本上是在使用传统机器学习中使用的现有数据集并重新开发它们。一般来说,机器学习的正常运行是我们有一个训练集和一个测试集——我们在训练集上训练,在测试集上测试。但是持续学习打破了这些规则,它让训练集随着训练者的学习而发展,所以我们需要一个非常好的持续学习环境。4.理想的持续学习环境是什么样的?告诉你它不是什么比告诉你它是什么更容易。我可以告诉你它可能有什么特性。所以现在,让我们假设人工智能算法不是模拟中的具体智能。然后至少,理想情况下,我们正在从视频或类似的东西中学习,比如多模式视频流,并且希望做的不仅仅是静止图像的分类。关于这个有很多悬而未决的问题。几年前我在一个持续学习研讨会上,一些像我这样的人说,“我们必须停止使用一个叫做MNIST的数据集,它太简单了。”然后有人说,“好吧,那我们去星际争霸进行增量学习。”我现在这样做是出于各种原因,但我认为这还不足以真正解决问题。毕竟生活比学玩星际丰富多了。5.您的实验室如何尝试设计随时间学习的算法?我和我以前的学生TylerHayes一起开创了一项关于类比推理的持续学习研究,该研究也在CVPR2021上发表。论文链接:https://openaccess.thecvf.com/content/CVPR2021W/CLVision/html/Hayes_Selective_Replay_Enhances_Learning_in_Online_Continual_Analogical_Reasoning_CVPRW_2021_paper.html我们认为这将是研究迁移学习思想的一个很好的领域,因为我们现在需要使用更复杂的技能来解决更复杂的问题。具体来说,我们测量反向迁移的数据,过去学到的东西对你未来有多大帮助,反之亦然。我们发现了迁移的良好证据,比对象识别等简单任务重要得多。6.你认为人工智能真的会像人类一样学习吗?我想他们会的。这个领域有许多非常有才华的人朝着这个目标努力。但我们需要的是创造力。机器学习界的很多研究都是在以往研究的基础上做一些小的改进,真正具有变革性的研究并不多。但这一天一定会到来,只是时间问题。ChristopherKananChristopherKanan是罗切斯特大学计算机科学的终身副教授。主要工作方向为深度学习基础研究,包括持续学习、人工智能中的偏差、医学计算机视觉、语言引导场景理解等。Kanan曾从事在线持续学习、视觉问答、计算病理学、语义分割、物体识别、物体检测、主动视觉、物体跟踪等方面的工作。除了机器学习,他在眼动追踪、灵长类动物视觉、和理论神经科学。在此之前,他是罗彻斯特理工学院(RIT)卡尔森成像科学中心的终身副教授。在任期间,他与同事共同创立了人类意识人工智能中心(CHAI),并担任了四年的副主任。此外,Kanan还是CornellTech的客座副教授,在那里他每年为大约100名研究生教授深度学习课程,为期4年。克里斯托弗·卡南(ChristopherKanan)在俄克拉荷马州乡村的一个小镇长大。1996年,他开始探索人工智能。还在读高中的卡南制作了许多“机器人”来玩在线多人电脑游戏。2002年,Kanan被俄克拉荷马州立大学(OSU)录取,在那里他双修哲学和计算机科学,并于2004年获得学士学位。2006年获得南加州大学(USC)计算机科学硕士学位,主攻人工智能和神经科学,与计算神经科学和神经网络先驱MichaelArbib共事。2013年获得博士学位。加州大学圣地亚哥分校(UCSD)计算机科学专业。毕业后,卡南前往加州理工学院进行博士后研究。参考:https://www.quantamagazine.org/the-computer-scientist-trying-to-teach-ai-to-learn-like-we-do-20220802/