当前位置: 首页 > 科技观察

人工神经网络能否利用生物神经元的厚度?五到八层可能不是极限

时间:2023-03-16 00:43:29 科技观察

本文转载自雷锋网。如需转载,请在雷锋网官网申请授权。虽然我们糊状的大脑可能看起来与计算机处理器中的芯片有很大不同,但科学家们对两者进行比较已有很长的历史。正如艾伦图灵在1952年所说:“我们对大脑的冷粥状稠度不感兴趣。”也就是说,媒介并不重要,重要的是计算能力。当今最强大的人工智能系统使用基于深度学习的机器学习方法,通过调整大量互连节点的隐藏层来拟合数据,形成称为深度神经网络的网络。顾名思义,深度神经网络的灵感来自于大脑中真实的神经网络,而这些深度神经网络的节点都是以真实的神经元为模型的。基于神经科学家在1950年代对神经元的了解,当时一种有影响力的神经元模型被称为感知器,从那时起,我们对单个神经元的计算复杂性的理解逐渐提高,并且了解到生物神经元更多比人工神经元复杂,但复杂多少?未知。1.一个生物神经元可以与5到8层的人工神经网络匹敌为了找到答案,耶路撒冷希伯来大学的DavidBeniaguev、IdanSegev和MichaelLondon训练了一个人工深度神经网络来模拟生物神经元的计算。研究表明,“一个深度神经网络需要5到8层相互连接的人工神经元来表示单个生物神经元的复杂性。”“我认为它会更简单、更小,”贝尼亚格夫说。Beniaguev也没有预料到这种程度的复杂性,预计三到四层就足以捕获单元内执行的计算。在谷歌旗下的人工智能公司DeepMind设计决策算法的蒂莫西·利利克拉普(TimothyLillicrap)说:“新的结果表明,可能有必要重新思考将大脑中的神经元与机器学习环境中的神经元进行不精确比较的旧传统。“,他认为“这篇论文确实帮助人们更仔细地思考这个问题,并弄清楚我们可以在多大程度上进行类比。”最基本的相似之处在于它们处理输入信息的方式。两种类型的神经元都接收传入信号并使用此信息来决定是否将自己的信号发送给其他神经元。人工神经元依靠简单的计算来做出决定,但数十年的研究表明,这个过程在生物神经元中更为复杂。计算神经科学家使用输入输出函数来模拟生物神经元的长分支(树突)接收的输入信息与神经元发送信号的决定之间的关系。这项新研究的作者使用人工深度神经网络模拟了这个函数来确定关系的复杂性。他们首先对小鼠大脑皮层神经元的输入输出功能进行了大规模模拟,这些神经元在顶部和底部有不同的树突分支,称为锥体神经元。然后,他们将模拟输入到一个深度神经网络,每层最多有256个人工神经元,并且他们不断增加层数,直到模拟神经元的输入和输出之间达到99个百分点的差距(以毫秒为单位)。准确性。最终,深度神经网络成功预测了大脑神经元输入输出函数的行为。结果表明,深度神经网络至少有5层相互连接的人工“神经元”,但最多不超过8层。在大多数网络中,一个生物神经元相当于大约1,000个人工神经元。神经科学家现在知道,单个神经元(例如左侧的锥体神经元)的计算复杂性取决于受到传入信号轰击的树突的分支。在神经元决定是否发送自己的信号“尖峰”之前,这会导致局部电压发生变化,表现为神经元颜色的变化,红色代表高压,蓝色代表低压。这种“尖峰”出现了三次,如图右侧每个分支的轨迹所示,其中颜色代表树突从上(红色)到下(蓝色)的位置。——DavidBeniaguev,贝勒医学院的计算神经科学家AndreasTolias。该研究的作者之一伦敦警告说,“人工神经网络的层数与网络复杂度之间的关系并不明显,不是直接对应关系。”因此,我们无法准确地说出从四层到五层会增加多少复杂性。我们也不能说1000个人工神经元意味着生物神经元比人工神经元复杂1000倍。或许,我们可以在每一层使用多个人工神经元,最终形成一个只有一层的深度神经网络来拟合一个生物神经元。当然,算法学习可能因此需要更多的数据和学习时间。“我们尝试了多种具有不同深度和不同单元的架构,但大多数都失败了,”伦敦说。该研究的作者分享了他们的代码,以鼓励其他人找到层数更少的解决方案。但事实证明,要找到一个能够以99%的准确率模仿生物神经元的深度神经网络是很困难的。因此,作者认为他们的结果确实为进一步研究提供了有意义的比较。Lillicrap认为这些发现可能提供一种将图像分类网络与大脑联系起来的新方法。图像分类网络通常需要超过50层。如果每个生物神经元类似于一个五层人工神经网络,那么一个50层的图像分类网络就相当于一个生物网络中的10个真实神经元。这项研究的作者还希望他们的发现将用于改进AI中当前最先进的深度网络架构。“我们建议人们可以尝试用代表生物神经元的单元替换深度神经网络中的一个简单单元,更接近大脑的工作方式,”Segev说。在这种替代方案中,人工智能研究人员和工程师可以插入一个五层深度网络作为“迷你网络”来替换每个人工神经元。2、有疑有定,但有人怀疑这项研究是否真的对人工智能有利。“我认为在这种比较中是否存在实际的计算优势是一个悬而未决的问题,”冷泉港实验室的神经科学家AnthonyZador说。“但这项研究为检查这一点奠定了基础。”除了在人工智能方面的应用,新论文也加深了人们对树突状树和个体生物神经元强大计算能力的共识。早在2003年,三位神经科学家就表明,锥体神经元的树突树可以通过将其建模为双层人工神经网络来执行复杂的模拟计算。在这篇新论文中,作者研究了锥体神经元的哪些特征(结构)激发了5到8层深度神经网络的更大复杂性。他们得出结论,这个秘密来自树突,以及树突表面接收化学信使的特定受体——这一发现与该领域之前的工作一致。一些人认为,这一结果意味着神经科学家应该更加重视对个体生物神经元的研究。“这篇论文使我们对树突和单个神经元的思考比以往任何时候都重要得多,”宾夕法尼亚大学的计算神经科学家KonradKording说。Lillicrap和Zador,他们认为关注回路中的神经元对于了解大脑如何使用单个神经元的计算复杂性同样重要。无论如何,人工神经网络的研究可能会为生物神经元和大脑的奥秘提供新的见解。伦敦大学学院的计算神经科学家GraceLindsay表示:“从层次、深度和广度进行思考,这项工作让我们对计算的复杂性有了直观的感受。不过,Lindsay也提醒说,这项新研究仍然只是比较模型。不幸的是,目前神经科学家不可能记录真实神经元的完整输入输出功能,因此可能还有更多的东西没有被生物神经元的模型捕捉到。换句话说,真实的神经元可能更复杂。“我们”我们不确定五到八层是否真的是最终极限,”伦敦说。