神经科学会是人工智能“超进化”的关键吗？ 在深度学习和深度神经网络风靡全球的今天，对大脑的研究是分不开的。 虽然我们还没有探究大脑是如何工作的，但这样的大脑结构确实可以产生“智能”。 一个神经网络仅仅通过模拟就可以实现相似或相同的智能。真正可以向人类学习的矩阵可能并不遥远。 近日，神经科学家PatrickMineault对2021年无监督学习的大脑模型进行了总结回顾。 神经人工智能（neuro-AI）研究中最引人注目的发现之一是训练人工神经网络以执行匹配大脑中单个神经元和集体信号的相关任务。 一个经典的例子是腹侧流，DNNs在ImageNet上训练用于对象识别。 监督和任务优化的网络连接，用于两种重要的解释形式：生态相关性和神经活动可解释性。 “关于人类视觉系统的人工模型，51.7亿次回归拟合能告诉我们什么？”这篇论文回答了大脑区域的用途。 然而，正如JessThompson指出的那样，这并不是唯一的解释形式。 特别是，任务优化网络通常被认为在生物学上是不可信的，因为传统的ImageNet训练会使用1M图像。 即使是婴儿识别任务，他们也必须每5秒接受一次新的监督标签，例如父母指着一只鸭子对孩子说“鸭子”，一年多每天3小时。 非人类的灵长类动物和老鼠呢？因此，寻找与人脑匹配的生物学相似神经网络的工作仍在继续。 JessThompson的NeuralAIHypothesisSpace什么是自监督训练方法 今年，我们看到无监督训练取得了很大进展，逐渐取代了一些自监督训练的方法。 自我监督训练的一些方法如下： 无监督学习旨在表示数据分布。该领域最常用的技术之一是变分自编码器(VAE)。 自监督训练旨在通过解决代理任务来找到良好的数据表示。如今，语言模型几乎普遍使用自我监督训练进行训练，例如BERT和GPT-3。 对比学习是一种特殊形式的自我监督学习，其代理任务是预测样本是来自正面还是负面（或干扰因素）。对比学习有很多不同的风格：MoCo、InfoNCE、SimCLR、CPC等。还有一些密切相关的非对比方法用于去除负样本，包括BYOL和BarlowTwins。 ·多模态学习是自监督训练的另一种特殊形式，其目的是预测两种不同模态（如视觉、文本、音频等）的公共子空间，或者预测一个模态子空间的公共子空间.CLIP就是一个典型的例子。 所有这些方法都允许我们在没有监督的情况下学习表征。事实上，结合自监督和无监督方法比仅使用监督方法在生物学上更合理。 对此，Mineault回顾了今年的MAIN、NeurIPS、CCN会议等预印本，并对无监督学习的脑模型做了总结。 Unsupervisedneuralnetworkmodelsoftheventralvisualstream 这篇论文刚刚发表在PNAS顶级期刊上，引用次数突破60次。 论文地址：https://www.pnas...论文摘要指出： 灵长类动物表现出非凡的识别能力。这种能力是通过腹侧视觉流实现的，腹侧视觉流是许多分层互连的大脑区域。这些领域中最好的定量模型是使用人工标签训练的深度神经网络。 然而，这些模型需要的标记物比婴儿接受的标记物多，使他们无法实现腹侧流发育模式。 无监督学习的最新进展在很大程度上缩小了这一差距。我们发现最先进的无监督学习神经网络在腹侧流中的预测准确性等于或超过当今可用的最佳模型。 这些结果说明了使用无监督学习来模拟大脑系统，并为感官学习的计算理论提供了一个强大的替代方案。 特别是，作者发现SimCLR和其他对比学习方法几乎可以像监督学习方法一样解释腹侧神经元。 标签不是训练模型所必需的，这篇论文就是一个非常有力的证明。 Beyondcategory-supervision: Computationalsupportfordomain-generalpressuresguidinghumanvisualsystemrepresentation 论文地址：https://www.biorxiv.org/content/10.1101/2020.06.15.153247v3 Konkle和Alvarez提出了与Zhuang等人的论文类似的问题： 腹侧信息流能否用未接受监督学习训练的网络来解释？他们使用fMRI而不是单个神经元的记录来评估这一点。他们发现结果与Zhuang的论文大体一致，有他们自己的独特实例——比较自我监督，以及解释fMRI数据的其他类似结果。 你的头在那里让你四处走动：灵长类动物背侧通路的目标驱动模型 这篇论文由神经科学家PatrickMineault撰写，发表于2021年NeurIPS。 正如作者之前所讨论的，腹侧神经元对形状具有选择性。然而，视觉皮层的输出被送到两个通道，一个是腹侧流，一个是背侧流。这是怎么回事？通过比较许多具有不同背流区域的自我监督3D网络，作者发现它们无法解释非人类灵长类动物中单个神经元的反应。 论文地址：https://your-head-is-there-to-move-you-around.netlify.app/ 为此，Mineault起草了一个代理任务，世界上的生物必须遵循的模式落在它视网膜上的图像的数量决定了它自身运动的参数。 生成的网络看起来很像背流，这在定性和定量上都是正确的。目前，该模型的训练是有监督的，但从代理的角度来看，它是自我监督的多模态学习：代理从另一种模态（视觉）中学习预测其自我运动的参数（前庭，传出副本），这在生物学上可能是合理的。视觉皮层的功能 视觉皮层的功能专业化类似于通过自我监督预测学习进行的训练。 项目主页：https://ventral-dorsal-model.netlify.app/ Bakhtiari等。2021年。这两篇论文都受到了NeurIPS的关注。 Bakhtiari认为哺乳动物的视觉单位，无论是人类、非人类灵长类动物还是小鼠，都有背侧和腹侧流。 那么，人工神经网络可以同时解释这两者吗？ Shahab通过在电影剪辑上训练对比预测编码(CPC)网络，发现如果神经网络包含两条独立的平行路径，它会自发形成背侧和腹侧流。 背侧流路与小鼠的背部区域匹配良好，而腹侧流路与小鼠的腹侧流路匹配良好。 另一方面，受监督训练的网络或只有一条通路的网络与小鼠大脑不匹配。浅层无监督模型 研究人员最近发现，浅层无监督模型最能预测小鼠视觉皮层的神经反应。 论文地址：https://www.biorxiv.org/content/10.1101/2021.06.16.448730v2.full.pdf Nayebi等人2021年的论文称深度神经网络受灵长类视觉的影响很棒受大脑皮层启发的模型，但对小鼠的影响较小。 他们使用鼠标视觉皮层数据（静止图像）并将其与不同架构的监督和自我监督网络进行比较。 一个有趣的发现是，具有平行分支的浅层网络可以更好地解释来自鼠标视觉皮层的数据。这证实了沙哈布的发现。 Nayebi的团队认为，老鼠的视觉大脑是一个浅层的“通用”视觉机器，能够执行各种任务，不像人脑中的深层神经网络，它只专门负责某项任务。精通。 Conwell团队在NeurIPS2021上发表了另一篇关于小鼠视觉皮层自监督学习的论文，得出的结论与前两篇论文一致。 论文地址：https://proceedings.neurips.cc/paper/2021/file/2c29d89cc56cdb191c60db2f0bae796b-Paper.pdfBeyondHumans Geirhos等人在NeurIPS2021上的论文表明人类非常擅长失真情况（例如，在噪声、对比度变化、旋转等情况下对图像进行分类）。 论文地址：https://arxiv.org/pdf/2106.07411.pdf 在这篇论文中，他们发现新的自监督和多模态模型对图像分类任务的鲁棒性已经与人类不相上下。 这背后的一个重要因素是使用了多少数据来训练网络：用更多数据训练的模型更健壮。 那是因为新模型对纹理的敏感度较低，而对形状的敏感度更高，这意味着它们似乎走的捷径更少。当然，新模型仍然存在明显的错误。多模态神经网络 论文地址：https://openreview.net/pdf?id=6dymbuga7nL Choksi团队在2021年SVHRM研讨会上提出，人脑的海马体包含多模态“概念”。响应概念或图像的文本表示的“细胞”（例如JenniferAniston细胞）。 有趣的是，CLIP也做同样的事情。 事实上，在本文中，作者使用公开可用的fMRI数据来表明多模态网络，包括CLIP，最好地解释来自大脑海马体的数据。无监督深度学习 Storrs等人在《Nature Human Behaviour》中展示了他们使用无监督学习来预测人类对光泽度的感知。 他们在一个集合上训练像素VAE纹理并寻找像素VAE与人类感知物体表面的方式之间的相似性。他们发现VAE自然地解耦不同的纹理组件，这与人类感知非常一致。 此外，他们发现监督网络在以下方面表现不佳这项任务。论文地址：https://www.nature.com/articles/s41562-021-01097-6.pdf 今年，研究人员在将无监督和自监督模型与大脑匹配方面取得了巨大进步。他们可以更好地匹配脑数据a并且也可以在没有标签的情况下进行训练。 自我监督打开了无需人工标签学习的大门，但最先进的模型通常需要大量数据进行训练。例如，GPT-3基本上学习了人类积累的所有文本（约5000亿个标记）。 相比之下，最健谈家庭的孩子在五岁时会接触大约3000万个单词。 因此，尽管GPT-3是一种看似合理的语言习得和表示机制，但它的效率仍然比人脑低4个数量级。 PS：作者还在更新中！关于作者PatrickMineault是一位独立的神经科学家。此前，他曾在Facebook担任BCI工程师，并在谷歌担任软件工程师和数据科学家。 个人主页：https://xcorr.net/about/ 目前共同创办公司NeuromatchAcademy，并担任CTO。 Mineault在麦吉尔大学获得了视觉神经科学博士学位，并在加州大学洛杉矶分校完成了博士后研究。在Facebook工作期间，他建立了一个BCI，可以通过大脑打字。 LeCun和JeffDean评论了PatrickMineault对过去一年无监督大脑模型研究的回顾。 “不错！但是BYOL、BarlowTwins和VICReg是训练联合嵌入架构的“非比较”方法。” 谷歌DanielJeffDean说这是关于无监督学习和自监督学习的一些伟大工作2021年在神经科学领域。
