当前位置: 首页 > 科技观察

一个神经元之上5到8层的神经网络,深度学习的计算复杂度被生物学碾压

时间:2023-03-19 01:08:22 科技观察

看来人工智能的发展还有很长的路要走。耶路撒冷希伯来大学的研究人员研究了单个神经元的计算复杂性。他们通过训练人工深度神经网络来模拟生物神经元的计算,得出的结论是深度神经网络需要5到8层相互连接的神经元。为了表征(或达到)单个生物神经元的复杂性。人类糊状的大脑似乎与计算机处理器中的固态硅芯片相去甚远,但科学家们多年来一直在比较这两者。正如“人工智能之父”艾伦图灵在1952年所说,“我们对大脑具有冷粥的稠度这一事实不感兴趣。”换句话说,介质不重要,计算能力重要。目前,最强大的人工智能系统采用机器学习的一个分支,称为深度学习。这些人工智能系统的算法通过处理互连节点隐藏层中的大量数据来学习,这些节点被称为深度神经网络。顾名思义,深度神经网络的灵感来自于人脑中真实的神经网络,其节点模拟真实的神经元。或者至少根据1950年代神经科学家对神经元的了解,当时一种被称为“感知器”的有影响力的神经元模型诞生了。从那时起,我们对单个神经元的计算复杂性的理解急剧增加,并且很明显生物神经元比人工神经元更复杂。但是它有多复杂呢?这个问题从来没有得到明确的回答。为了找出答案,计算神经科学博士。耶路撒冷希伯来大学的学生DavidBeniaguev、神经科学教授IdanSegev和副教授MichaelLondon训练了一个人工深度神经网络来模拟生物神经元的计算。他们表明,深度神经网络需要5到8层相互连接的神经元来表示(或达到)单个生物神经元的复杂性。作者也没有预料到这种程度的复杂性。Beniaguev的一项工作说:“我认为生物神经元会更简单,3到4层人工神经元就足以捕捉细胞中进行的计算。”从左到右分别是耶路撒冷希伯来大学博士生DavidBeniaguev、神经科学教授IdanSegev和副教授MichaelLondon。他们还发表了相关论文《Single Cortical Neurons as Deep Artificial Neural Networks》。论文地址:https://www.sciencedirect.com/science/article/abs/pii/S0896627321005018DeepMind决策算法设计师TimothyLillicrap认为,新的研究结果表明有必要重新思考大脑神经元和机器学习神经元之间的关系。较旧的传统被松散地比较。需要5到8层人工神经元才能达到单个生物神经元的复杂性人工神经元和生物神经元之间最基本的比较是它们如何处理传入的信息。两种类型的神经元都接收输入信号,并根据输入决定是否向其他神经元发送信号。虽然人工神经元依靠简单的计算来做出决定,但数十年的研究表明,这个过程在生物神经元中要复杂得多。计算神经科学家使用输入输出函数来模拟生物神经元树突接收的输入与神经元发送的信号之间的关系。研究人员要求人工深度神经网络模拟输入输出函数(生物神经元树突接收的输入与神经元发送的信号之间的关系)以确定其复杂性。他们首先对一种神经元的输入输出功能进行了大规模模拟,这种神经元在顶部和底部具有不同的树突分支,称为锥体神经元,来自大鼠的皮层。然后,他们将模拟结果输入一个深度神经网络,每层最多有256个人工神经元。然后,他们不断增加层数,直到在模拟神经元的输入和输出之间以毫秒为单位达到99%的准确度。深度神经网络使用至少5层且不超过8层成功地预测了神经元的输入输出函数的行为。在大多数网络中,这相当于1000个人工神经元对应一个生物神经元。如下图2所示,具有7个隐藏层和每层128个特征图的时间卷积网络(TCN)忠实地捕获了L5PC(第5层锥体神经元)模型。在下面的图3中,研究人员表明,没有N-甲基天冬氨酸(NMDA)突触的L5PC神经元可以被具有128个隐藏单元的单个隐藏层的深度神经网络忠实地捕获。A为L5PC模型示意图,B为模拟深度神经网络。现在了解了单个神经元的计算复杂性,如下面的动画所示,左侧的锥体神经元依赖于受信号影响的树突分支。在神经元决定是否发送尖峰信号之前,信号的变化会引起局部电压的变化,表现为神经元颜色的变化(红色代表高电压,蓝色代表低电压)。该尖峰出现3次,如右侧单个分支的轨迹所示,颜色代表树突从顶部(红色)到底部(蓝色)的位置。贝勒医学院的计算神经科学家安德烈亚斯·托利亚斯(AndreasTolias)表示,这些结果搭建了从生物神经元到人工神经元的桥梁。但研究人员表示,这并不是直接对应关系(生物神经元与人工神经元)。MichaelLondon认为,“神经网络的层数与网络复杂度之间的关系并不明显,所以我们不能说网络层复杂度从四层到五层会增加多少。我们不能说需要1,000个人工神经元,意味着生物神经元的复杂度恰好是生物神经元的1,000倍。最终,即使每一层的人工神经元数量呈指数级增长,最终也可以形成一个深度神经网络只有一层——但这可能需要更多的数据和时间来让算法学习。”研究人员尝试了很多架构,但几乎都失败了。他们还将代码公开,以鼓励其他研究人员寻找层数更少的解决方案。但是找到一个能够以99%的准确率模拟神经元的深度神经网络一直很困难,并且研究人员认为他们的结果为进一步研究提供了有意义的比较。TimothyLillicrap认为这可能提供一种将图像分类网络(通常需要50层以上)连接到大脑的新方法。如果每个生物神经元都像一个五层人工神经网络网络,那么一个50层的图像分类网络可能相当于生物网络中的10个真实神经元。此外,该研究希望他们的结果将改变SOTAAI的深度网络架构。“我们呼吁替代深度网络技术,更接近大脑的工作方式,通过用代表神经元单元替换深度网络中的每个简单单元,即i本质上很深,”塞格夫说。在这种替代方案中,AI研究人员和工程师可以插入一个五层深度网络作为“迷你网络”来替换每个人工神经元。各行各业的专家学者怎么想,但也有人怀疑这是否真的对AI有利。“我认为这样做是否具有实际的计算优势是一个悬而未决的问题,”冷泉港实验室的神经科学家AnthonyZador说。这项工作为测试提供了基础。除了AI应用之外,该研究还推动了对树突状树和单个神经元强大计算能力的共识。早在2003年,三位神经科学家就表明,锥体神经元的树突树可以通过将其建模为双层人工神经网络来执行复杂的计算。在这项新研究中,研究人员探索了锥体神经元的哪些特征激发了5到8层深度神经网络的复杂性。他们得出结论,这来自树突树,树突表面的特定受体可以接收化学信使——这一发现与该领域之前的研究一致。一些人认为,这些结果意味着神经科学家应该优先研究单个神经元。“这篇论文使对树突和单个神经元的思考比以往任何时候都更加重要,”宾夕法尼亚大学的计算神经科学家KonradKording说。其他人,如Lillicrap和Zador,认为关注电路中的神经元对于理解大脑如何实际利用单个神经元的计算复杂性同样重要。无论如何,人工神经网络的语言可能会为神经元和大脑的能力提供新的见解。伦敦大学学院的计算神经科学家GraceLindsay表示:“从层数、深度和宽度的角度来思考,让我们对计算复杂性有了更直观的理解,但这项研究仍然只是模型与模型的比较。”遗憾的是,神经科学家目前无法记录真实神经元的完整输入输出功能,因此可能还有更多信息无法被生物神经元模型捕捉到。也就是说,真正的神经元可能更复杂。迈克尔·伦敦也对此表示:“我们不确定5-8层是否是最终数字。”