现在很多AI应用模型不得不提一个模型结构：Transformer。它摒弃了传统的CNN和RNN，完全由Attention机制组成。Transformer不仅赋予了各种AI应用模型写文章、写诗的能力，还在多模态方面大放异彩。尤其是ViT（VisionTransformer）问世后，CV和NLP的模型壁垒被打破，Transformer只有一个模型就可以处理多模态任务。（看完谁不感叹它的强大）虽然Transformer最初是为语言任务而设计的，但它在模仿大脑方面也有很大的潜力。这不，一位科普作家写了一篇关于Transformer如何进行大脑建模的博客。来康康，他说什么？Transformer：要做大脑做的事情，首先要梳理一下它的进化过程。Transformer机制最早出现在5年前，它能有如此强大的性能，很大程度上得益于它的Self-attention机制。至于变形金刚是如何模仿大脑的，继续往下看。2020年，奥地利计算机科学家SeppHochreiter的研究团队利用Transformers重构了Hopfield神经网络（一种记忆检索模型，HNN）。事实上，Hopfield神经网络早在40年前就已被提出，而研究团队之所以选择在数十年后重新组织这个模型，原因如下：首先，这个网络遵循一个普遍规律：同时活跃的神经元与彼此之间将建立牢固的联系。其次，Hopfield神经网络在检索记忆的过程和Transformer的self-attention机制上有一定的相似性。因此研究团队重组了HNN，在神经元之间建立更好的连接，以便存储和检索更多的记忆。重组的过程，简单来说就是将Transformer的attention机制融入到HNN中，让原本不连续的HNN变成连续的。△来源：维基百科重组后的Hopfield网络可以作为一个层集成到深度学习架构中，以允许存储和访问原始输入数据、中间结果等。因此，Hopfield本人和MITWatsonArtificial的DmitryKrotov智能实验室声称基于Transformer的Hopfield神经网络在生物学上是合理的。虽然这与大脑的工作方式有些相似，但在某些方面并不十分准确。因此，计算神经科学家Whittington和Behrens调整了Hochreiter的方法，对重组后的Hopfield网络进行了一些修正，进一步提高了模型在神经科学任务中的性能，这些任务复制了大脑中的神经放电模式。△TimBehrens（左）JamesWhittington（右）来源：quantamagazine简单来说，模型在编码-解码时不再将记忆编码为线性序列，而是编码为高维空间中的坐标。具体来说，TEM（Tolman-EichenbaumMachine）被引入到模型中。TEM是一种联想记忆系统，旨在模仿海马体的空间导航作用。它能够概括空间和非空间结构知识，预测在空间和联想记忆任务中观察到的神经元表现，并解释海马体和内嗅皮质中的重映射现象。将具有如此多功能的TEM和Transformer合并形成TEM-transformer（TEM-t）。然后，让TEM-t模型在多个不同的空间环境中进行训练。环境结构如下图所示。在TEM-t中，它仍然具有Transformer的Self-attention机制。通过这种方式，模型的学习可以转移到新的环境并用于预测新的空间结构。研究还表明，TEM-t在神经科学任务中比TEM更高效，它可以用更少的学习样本处理更多的问题。Transformer在模仿脑模型的道路上越走越深。也就是说，Transformer模型的发展也在不断推动我们对大脑功能运行原理的理解。不仅如此，在某些方面，Transformer还可以提高我们对大脑其他功能的理解。变形金刚帮助我们了解大脑例如，去年，计算神经科学家MartinSchrimpf分析了43种不同的神经网络模型，以了解它们如何影响人类神经活动测量：功能性磁共振成像(fMRI)和脑电图(EEG)。)报告预测能力。其中，Transformer模型几乎可以预测成像中发现的所有变化。推而广之，或许我们还可以从Transformer模型中预测出大脑相应功能的运行情况。此外，计算机科学家YujinTang和DavidHa最近设计了一种模型，可以通过Transformer模型有意识地以随机无序的方式发送大量数据，模拟人体如何将感官观察结果传递给大脑。这个Transformer就像人脑一样，可以成功处理无序的信息流。Transformer模型虽然在不断完善，但只是朝着精确的脑模型迈出了一小步，还需要更深入的研究才能走到最后。如果想了解更多Transformer是如何模仿人脑的，可以点击下方链接~参考链接：[1]https://www.quantamagazine.org/how-ai-transformers-mimic-parts-of-the-brain-20220912/[2]https://www.pnas.org/doi/10.1073/pnas.2105646118[3]https://openreview.net/forum?id=B8DVo9B1YE0
