我们为什么要睡觉？一个明显的原因是恢复我们的身体和四肢的力量。但睡眠的另一个非常重要的作用是巩固记忆并组织清醒时大脑吸收的所有信息。睡眠不足的人会出现认知能力下降和记忆力下降。睡眠的奇迹和奥秘仍然是一个活跃的研究领域。睡眠研究可用于医学、心理学和神经科学以外的其他科学领域。AI研究人员也在研究该领域所做的工作，以开发能够在更长时间内更有效地处理数据的AI模型。DeepMind的人工智能研究人员最近的工作表明，他们正在利用对大脑和睡眠机制的研究来解决自然语言处理(NLP)的基本挑战：处理长期记忆。人工智能与语言记忆作斗争人脑有一种非常有趣的组织记忆的方式。我们可以长期管理不同的思路。考虑这个假设的例子：你早上醒来，花45分钟阅读一本关于认知科学的书。一个小时后，您浏览新闻并阅读了几篇新闻文章。下午，你将继续完成几天前开始的AI研究论文，并为以后的文章做笔记。在日常锻炼期间，您将收听科学播客或有声读物。晚上，在入睡之前，你打开一本奇幻小说，找到你前一天晚上读过的地方。你不需要成为天才才能做到这一点。事实上，我们大多数人每天都在处理各种各样的信息。有趣的是，我们的大脑能够保存和管理这些信息，并且可以保存和管理很长一段时间，一天、几周、几个月甚至几年。近年来，人工智能算法在保持较长数据流的一致性方面逐渐变得更好，但要与人脑的技能相媲美还有很长的路要走。处理语言的经典机器学习构建模型是递归神经网络（RNN），这是一种人工神经网络，旨在处理数据的时间一致性。在数据语料库（例如，维基百科文章的海量数据集）上训练的RNN可以执行预测序列中的下一个单词或寻找问题答案等任务。早期版本的RNN的问题在于它们处理信息所需的内存量。AI模型能够处理的数据序列越长，它需要的内存就越多。这种限制主要是因为与人脑不同，神经网络不知道哪些数据应该保留，哪些数据可以丢弃。提取重要信息想一想：当你读一本小说时，比如说《指环王》，你的大脑不会记住所有的单词和句子。它经过优化，可以从故事中提取有意义的信息，包括角色（例如，Frodo、Gandalf、Sauron）、他们的关系（例如，Boromir几乎是Frodo的朋友）、地点（例如，Rivendell、Mordor、Rohan）、对象（例如，至尊魔戒和乌列尔），关键事件（例如，佛罗多将至尊魔戒扔进了末日火山的中心，甘道夫掉进了哈扎德末日深渊，海尔姆之战的深渊），也许还有一些非常重要的对话故事（例如，并非所有闪耀的都是金子，并非所有流浪者都会迷路）。这一小部分信息对于追踪所有四本书（霍比特人和所有三部指环王）和576,459个单词的故事情节至关重要。人工智能科学家和研究人员一直在努力寻找一种方法，将神经网络嵌入到同样高效的信息处理中。该领域的一项重大成就是开发了“注意力”机制，使神经网络能够发现并关注数据中更重要的部分。注意力使神经网络能够以更高效的记忆方式处理大量信息。Transformers是近年来越来越流行的一种神经网络，它有效地利用了意图机制，使AI研究人员能够创建越来越大的语言模型。示例包括OpenAI的GPT-2文本生成器，在40G文本上训练，谷歌的Meena聊天机器人，在341GB语料库上训练，以及AI2的Aristo，一种在300G数据上训练以回答科学问题的深度学习算法。与以前的AI算法相比，所有这些语言模型在更长的文本序列上都表现出显着的一致性。GPT-2通常（但不总是）可以编写跨多个段落的合理连贯的文本。Meena尚未发布，但Google提供的示例数据在对话中显示了有趣的结果，而不仅仅是简单的查询。Aristo在回答科学问题方面优于其他AI模型（尽管它只能回答多项选择题）。然而，显而易见的是，语言处理AI仍有很大的改进空间。目前，仍然存在通过创建更大的神经网络并为它们提供更大的数据集来改进该领域的动力。很明显，我们的大脑不需要，甚至没有足够的能力来获取数百GB的数据来学习语言的基础知识。从睡眠中汲取灵感当记忆在我们的大脑中形成时，它们最初是编码在大脑不同部分的感觉和认知活动的混杂。这是短期记忆。根据神经科学研究，海马体从大脑不同部位的神经元收集激活信息，并以可以进入记忆的方式记录下来。它还存储将重新激活这些记忆的线索（名称、气味、声音、景象等）。记忆越被激活，它就会变得越强大。《你的大脑》的作者马克·丁曼(MarcDingman)表示，“研究发现，在深度睡眠期间，在初始体验期间开启的相同神经元会重新激活。这导致神经科学家假设，在睡眠期间，我们的大脑正在努力工作以确保将前一天的重要记忆转移到长期存储中。”DeepMind的AI研究人员从睡眠中获得灵感，创建了CompressionTransformer，一种更适合长程记忆的语言模型。“睡眠对记忆至关重要，睡眠被认为有助于压缩和巩固记忆，从而提高记忆任务的推理能力。“当模型通过一系列输入时，会在线收集类似于情景记忆的颗粒记忆。随着时间的推移，它们最终会被压缩。”研究人员在一篇关于CompressionTransformer的博客文章中写道。与Transformer的其他变体一样，CompressionTransformer使用注意力机制来选择序列中的相关数据位。然而，AI模型并没有丢弃旧内存，而是删除了不相关的部分，并通过保留显着部分并将它们存储在压缩的内存位置来组合其余部分。根据DeepMind的说法，CompressiveTransformer展示了最先进的技术在流行的自然语言AI??基准测试中的表现。人工智能“我们还证明它可以有效地用于语音建模，特别好地处理稀有词，并且可以用于强化学习代理来解决记忆任务，”情报研究人员写道。“然而，重要的是，人工智能提高了长文本建模的性能。模型中的条件样本可用于编写类似书籍的摘录，”DeepMind研究人员写道。“与该领域所做的其他工作相比，包含CompressiveTransformer输出样本的博客文章和论文非常令人印象深刻。该语言尚未解决压缩和归档是两个不同的概念。让我们回到《指环王》看看这意味着什么。例如，在阅读了关于埃尔隆德家会议的章节后，你不一定记得与会者之间交流的每一句话。但你仍然记得一件重要的事情：当每个人都在争论如何决定戒指的命运，佛罗多挺身而出，承担了将戒指扔进末日之山的责任。因此，为了压缩信息，大脑似乎会在存储时改变记忆。随着记忆变老，转变仍在继续。显然，有某种模式识别允许CompressiveTransformer找到应该存储在压缩内存段中的相关部分。但是，这些数据位是否等同于上述示例中提到的元素还有待观察。使用深度学习算法处理人类语言的挑战已得到充分证明。虽然统计方法可以发现大量数据中有趣的相关性和模式，但它们无法执行一些需要文本以外知识的精细任务。诸如抽象、常识、背景知识和其他智能方面的东西，可以让我们填补空白并提取文字背后的隐藏含义，这些仍然超出了当前人工智能方法的范围。正如计算机科学家MelanieMitchell在她的书《人工智能：思考人类的指南》中解释的那样，“在我看来，机器不可能完全通过在线学习来学习翻译、阅读理解等。”人类水平。事实上，数据对它们处理的语言没有真正的理解。语言依赖于常识和对世界的理解。”添加这些元素将使AI模型能够处理语言的不确定性。认知科学家GaryMarcus说：“除了少数几个小句子，几乎你听到的每一个句子都是原创的。您没有直接数据。这意味着你在推理和理解上有问题。那些拥有有助于对事物进行分类并将它们放入您已经知道的容器中的技术的人根本不适合这样做。理解语言就是将你已经知道的世界与其他人想说的联系起来，并按照他们所说的去做。”马库斯和他的合著者、纽约大学教授欧内斯特·戴维斯在RebootingAI中写道：“统计无法替代用于现实世界的理解。问题不仅在于随机错误无处不在，还在于翻译所需的统计分析模型与系统真正理解它们所需的认知模型构建之间存在根本不匹配。”但压缩技术可能会帮助我们在AI和语言建模研究中找到新的方向。“捕获跨天、月或年的经验相关性的模型即将出现。”我们相信，随着时间的推移，更强的推理途径将来自对过去更好的选择性关注和更有效的压缩机制，”DeepMind的人工智能研究人员写道。
