最新一代的预测语言模型似乎也学习了语言的一些潜在含义。令人惊奇的是，这些模型不仅可以预测下一个单词，还可以执行一些看似需要一定理解力的任务，例如问答、文档摘要和故事延续。这些模型针对预测文本的特定功能进行了优化，而不是试图模仿人脑如何执行此任务或理解语言。但麻省理工学院神经科学家的一项新研究表明，这些模型的潜在功能类似于人脑中的语言处理中心。“我们的研究结果表明，预测性人工神经网络可以作为预测语言处理如何在人类神经组织中实施的可行候选假设，”该论文写道。“这些网络为一个有前途的研究方向提供了关键基础，即在集成逆向工程的良性循环中将自然语言处理的高性能模型与人类语言理解的大规模神经和行为测量相结合，包括测试模型的能力预测神经和行为，剖析表现最佳的模型以了解哪些组件对大脑的高预测性至关重要，利用这些知识开发更好的模型并收集新数据来挑战和约束未来几代神经合理的语言处理模型。”在其他类型的语言任务中表现良好的计算机模型并没有表现出与人脑的这种相似性，这提供了大脑可能使用下一个词预测来驱动语言处理的证据。“模型预测下一个词的能力越好，它就越符合人脑，”WalterA.Rosenblith认知神经科学教授NancyKanwisher说。他是麻省理工学院麦戈文脑科学研究所和大脑、思维和机器中心（CBMM，大脑研究和大脑、思维和机器中心）的成员，也是这项新研究的作者之一。“令人惊奇的是，这些模型的契合度如此之高，它强烈表明，也许人类语言系统正在做的是预测接下来会发生什么。》研究论文题为《语言的神经结构：集成建模收敛于预测处理》，已发表于美国国家科学院院刊（“数据实践派”后台回复“语言”获取论文链接）。语言处理用于人类语言处理的人工神经网络模型的比较。实验测试了不同模型在语言理解过程中预测人类神经活动（fMRI和ECoG）和行为的措施的有效性。候选模型包括简单的模型嵌入到更复杂的刺激范围从句子到段落再到故事，并被输入模型，并呈现给人类参与者（视觉或听觉）。模型的内部表示在三个主要维度上进行评估：预测人类的能力代表神经表征；以阅读时间的形式预测人类行为的能力；计算执行诸如下一个单词预测之类的任务的最终能力。执行预测任务这种用于预测下一个单词的新型高性能模型属于深度神经网络模型类别。这些网络包含形成不同强度连接的计算“节点”，以及以规定方式在彼此之间传递信息的层。在过去的十年中，科学家们使用深度神经网络创建了可以识别灵长类动物大脑等物体的视觉模型。麻省理工学院的研究还表明，视觉对象识别模型的基本功能与灵长类动物视觉皮层的组织相匹配，尽管这些计算机模型并不是为了模仿大脑而设计的。在这项新研究中，麻省理工学院的研究团队采用了类似的方法来比较人脑中的语言处理中心和语言处理模型。他们分析了43种不同的语言模型，包括一些针对单词预测进行了优化的模型。其中包括GPT-3（generativepre-trainingTransformer3），它可以根据给定的提示生成类似于人类手动生成的文本。其他模型旨在执行不同的语言任务，例如填充句子中的空白。由于每个模型都有一串单词，研究人员测量了构成网络的节点的活动。然后，他们将这些模式与人类大脑的活动进行了比较，这些活动是在执行三种语言任务的受试者中测量的。:听故事，一次一个句子地读句子，一次一个单词地造句。这些人类数据集包括功能性磁共振成像(fMRI)数据和接受癫痫脑部手术的患者的颅内脑电图测量值。事实证明，表现最好的单词预测模型的活动模式与人脑中的活动模式非常相似。这些相同模型中的活动与人类行为指标高度相关，例如，人们阅读文本的速度。“我们发现，能够很好地预测神经反应的模型也往往能最好地预测人类在阅读时间方面的行为反应，”Schrimpf说。“这两个问题随后由模型在下一个词预测中的表现来解释。三角形确实将所有东西联系在一起。”改变游戏规则的预测模型（例如GPT-3）的关键计算特性之一是称为前向单向预测转换器的元素。该转换器能够根据先前的序列预测接下来会发生什么。其显着特征是它可以根据文本中更大的上下文（数百个单词）进行预测，而不仅仅是最后几个单词。Tenenbaum说，科学家们尚未确定与这种处理类型相对应的任何大脑回路或学习机制。尽管如此，新发现与先前提出的假设非常一致，即预测是语言处理的关键功能之一。“语言处理的挑战之一是它的实时性，”他强调说。“当语言出现时，你必须保持并能够实时理解它的含义。”研究人员现在计划构建这些语言处理模型的变体，以了解其结构的微小变化e影响性能和适应性。人类神经数据的能力。“对我来说，这个结果改变了游戏规则，”费多连科说。“这完全改变了我的研究项目，因为我没有预料到，在我有生之年，我会得到这些计算清晰的模型，这些模型捕获了足够的关于大脑的信息，我们可以实际使用它们来了解大脑是如何工作的。”怎么运行的。”研究人员还计划尝试将这些高性能语言模型与之前在Tenenbaum实验室开发的计算机模型相结合，这些计算机模型可以执行其他类型的任务，例如构建物理世界的感知表示。上图展示了研究的主要结论，包括特定的ANN语言模型可以预测人类神经对语言输入的高精度反应。Tenenbaum说：“如果我们能够理解这些语言模型的作用以及它们与更像感知和思考的模型之间的关系，那么我们可能会获得更全面的大脑工作方式模型。”它可能使我们能够构建更完整、性能更好的AI模型。当然，我们还可以更多地了解大脑是如何工作的，以及通用智能是如何出现的，以丰富过去的知识盲点。”
