造不出来，我也不明白。——费曼要创造人工智能，首先要明白人脑为什么聪明。随着神经网络的诞生和随后的辉煌发展，研究人员一直在寻找神经网络的生物学解释，生物学的进步也在启发着AI研究人员开发新的模型。但人工智能领域的研究人员其实还有一个更雄心勃勃的追求：利用人工智能模型来帮助理解大脑。最近的一项研究发现，虽然目前最流行的Transformer模型是在没有借助生物学知识的情况下开发出来的，但其结构与人脑海马体的结构非常相似。论文链接：https://arxiv.org/pdf/2112.04035.pdf研究人员在为Transformer配备递归位置编码后，发现该模型可以准确复制海马体结构的空间表征。不过作者也表示，他对这个结果并不感到意外，因为Transformer与目前神经科学中的海马体模型密切相关，最显着的是位置细胞和网格细胞。并且通过实验发现，Transformer模型相较于神经科学版本提供的模型有巨大的性能提升。结合人工神经网络和大脑网络的计算，这项工作提供了对海马体和大脑皮层之间相互作用的新理解，并暗示了皮层区域如何执行比当前神经科学模型更广泛的复杂任务，例如语言理解。变形金刚模拟海马体？人类仍然很难理解自己的大脑。例如，研究大脑如何组织和访问空间信息以解决“我们在哪里，附近有什么以及如何到达那里”仍然是一项艰巨的挑战。整个过程可能涉及从数百亿个神经元调用整个记忆网络和存储的空间数据，每个神经元都连接到数千个其他神经元。虽然神经科学家已经确定了几个关键元素，例如网格细胞、映射位置的神经元，但如何更深入仍然未知：研究人员无法移除和研究人类灰质切片以观察基于位置的图像、声音和气味记忆如何流动并相互连接。人工智能模型提供了另一种理解人脑的方法。多年来，神经科学家使用各种类型的神经网络来模拟大脑中神经元的放电。最近的研究表明，海马体（一种对记忆至关重要的大脑结构）与Transformer模型基本相同。使用新模型以类似于大脑内部运作的方式跟踪空间信息，研究人员取得了一些显着的成果。来自牛津大学和斯坦福大学的认知神经科学家JamesWhittington表示，当我们知道这些大脑模型相当于变形金刚时，就意味着新模型会表现得更好，也更容易训练。正如Whittington等人的工作所见，Transformers可以极大地提高神经网络模型模仿网格细胞和大脑其他部分执行的各种计算的能力。Whittington说，这样的模型可以促进我们对人工神经网络如何工作的理解，更有可能是计算如何在大脑中进行。主要从事Transformer模型研究的谷歌脑计算机科学家DavidHa表示，我们并不是要重新创造一个新的大脑，而是我们能否创造一种机制来做大脑能做的事情？Transformer作为人工智能处理自然语言的新模型在五年前首次被提出，也是BERT、GPT-3等那些“明星模型”的秘密武器。这些模型可以生成令人信服的歌词、创作莎士比亚十四行诗或做一些人工客户服务工作。Transformer的核心机制是self-attention，其中每个输入（例如一个词、一个像素、一个序列中的数字）总是与所有其他输入相关联，而其他常见的神经网络只是将输入与某些输入相关联。连接。尽管Transformer是专门为自然语言任务而设计的，但随后的研究也证明Transformer在其他任务上同样出色，例如图像分类和现在的大脑建模。2020年，由奥地利林茨约翰内斯开普勒大学的计算机科学家SeppHochreiter（LSTM论文的第一作者）领导的小组使用Transformer重新调整了Hopfield网络，这是一种强大的、长期存在的记忆检索模型。40年前，普林斯顿大学物理学家约翰·霍普菲尔德(JohnHopfield)首次提出这些网络遵循一般规则：同时活跃的神经元彼此之间形成紧密联系。Hochreiter和他的合作者注意到研究人员一直在寻找更好的记忆检索模型，他们发现了新型Hopfield网络如何检索记忆与变形金刚如何进行注意力之间的联系。这些新的Hopfield网络由麻省理工学院-IBM沃森人工智能实验室的Hopfield和DmitryKrotov开发，与标准Hopfield网络相比，它们具有更高效的连接并且可以存储和检索更多的记忆。论文链接：https://papers.nips.cc/paper/2016/hash/eaae339c4d89fc102edd9dbdb6a28915-Abstract.htmlHochreiter的团队通过添加类似于Transformer中的注意力机制的规则来升级这些网络。2022年，这篇新论文进一步调整了Hochreiter的方法，修改了Transformer，使其不再将记忆视为线性序列，而是像句子中的一串单词，将其编码为高维空间中的坐标。研究人员表示，这种“扭曲”进一步提高了模型在神经科学任务上的表现。实验结果还表明，该模型在数学上等同于神经科学家在fMRI扫描中看到的网格细胞放电模式模型。伦敦大学学院的神经科学家CaswellBarry说，网格细胞具有这种令人兴奋、美丽、规则的结构，以及不太可能随机出现的引人注目的模式。这项新工作展示了Transformer如何准确地复制在海马体中观察到的那些模式。他们还认识到，Transformer模型可以根据其先前的状态和移动方式计算出它的位置，并以一种关键的方式输入到传统的网格单元模型中。最近的一些其他工作也表明，变形金刚可以促进我们对其他大脑功能的理解。去年，麻省理工学院计算神经科学家MartinSchrimpf分析了43种不同的神经网络模型，以了解它们如何预测fMRI和脑皮层描记术报告的人类神经活动测量值。他发现Transformer是领先的、最先进的神经网络，可以预测成像中发现的几乎所有变化。而同为计算机科学家的DavidHa和YujinTang最近设计了一种模型，可以故意以随机和无序的方式向Transformer提供大量数据，模仿人体如何将感官观察结果传递给大脑。事实证明，Transformer可以像我们的大脑一样，成功地处理无序信息流。论文链接：https://arxiv.org/abs/2111.14377YujinTang说，神经网络是hardwired的，只能接收特定的输入。但在现实生活中，数据集经常变化很快，大多数AI没有办法调整。未来我们想尝试一种可以快速适应的架构。
