当前位置: 首页 > 科技观察

节能1000倍!人脑神经芯片运行AI模型,省电这么多

时间:2023-03-21 23:20:39 科技观察

作为当今最成功的人工智能算法,人工神经网络可以松散地模拟人脑中真实神经网络的复杂环节。但是,与人脑的高能量效率相比,它太耗电了。于是,神经拟态计算应运而生,这是一种更接近于模仿人脑运行机制和物理定律的技术。然而,由于设备不匹配的挑战,模拟神经元的特性将与设计略有不同,电压和电流水平将因神经元而异。相比之下,人工智能算法的训练是在具有相同数字神经元的计算机上完成的。因此,实际在神经形态芯片上运行时,往往会出现“水土不服”的问题。2022年1月发表在《美国国家科学院院刊》上的一篇论文揭示了解决这一难题的方法。论文链接:https://www.pnas.org/content/119/4/e2109194119由瑞士弗里德里希米歇尔生物医学研究所研究员FriedmanZenker和德国海德堡大学团队共同组建由作者JohannesHimmel在尖峰神经网络的AI算法类型上取得新进展。使用模拟人脑特征尖峰的尖峰交流信号,尖峰神经网络可以在神经形态芯片上运行并学习如何补偿芯片中的组件不匹配。这篇论文是迈向AI神经形态计算的重要一步。模拟神经网络不同于现有的AI运行设备,神经形态计算不在异地CPU和存储卡之间传输数据。神经形态芯片设计模仿人脑的果冻状基础结构,将计算单元(神经元)放置在记忆单元(连接神经元的突触)旁边。为了使设计更像人脑,研究人员将神经形态芯片与模拟计算相结合,可以像真实神经元一样处理连续信号。以这种方式生产的芯片与当前依赖于处理二进制基本信号0和1的数字计算模型和架构有很大不同。以人脑为设计指导,神经形态芯片有望在某一天结束计算机的高能耗。人工智能和其他大规模计算任务。不幸的是,人工智能算法在神经形态芯片的模拟版本上效果不佳。这是因为设备不匹配的缺陷:芯片中模拟神经元的微小组件的尺寸在生产过程中不匹配。由于单个芯片不足以运行最新的AI训练过程,因此必须在传统计算机上对算法进行预训练。但是后面把算法转移到芯片上的时候,一旦遇到模拟硬件不匹配的问题,算法就会被拉黑。基于人脑设计的计算模型是模拟计算而不是数字计算。这种差异是微妙的,但却是至关重要的。数字计算只能有效呈现人脑脉搏信号的二元性方面:作为电信号通过神经元,脉搏信号具有双重状态,要么有输出,要么没有输出,这就是0和1的区别。但是事实上,由于人脑细胞存在电压变化,当细胞内电压超过高于细胞外电压的某个阈值时,就会输出一个脉冲。这样,脉冲在一定时间内是连续输出的,神经元决定输出脉冲的状态也是连续的,其实就是模拟信号的一种状态。瑞士苏黎世联邦理工学院神经拟态工程研究员CharlotteFrenkel表示:“模拟状态体现了人脑计算模型的核心美感。成功模拟人脑的这一关键方面将是神经拟态计算的关键.主要驱动力之一。2011年,海德堡大学的一组研究人员着手开发一种同时具有模拟和数字状态的神经形态芯片,以模仿大脑进行神经科学实验。此后,该团队发布了新版芯片“BrainScaleS-2”,其中每个模拟神经元模拟脑细胞的输入输出电流和电压变化。然而,由于材料的导电性不同,芯片比人脑快1000倍。在新的工作中,通过将芯片整合到在算法的训练过程中,脉冲神经网络可以学习如何校正BrainScaleS-2芯片上的电压差异。为了处理设备不匹配的问题,团队还专门针对脉冲神经网络开发了一种新方法,使用芯片使用称为梯度替换的学习方法与计算机交互。梯度替换可最大限度地减少神经网络在执行任务时所犯的错误数量通过不断改变神经元之间的连接(类似于非尖峰神经网络使用的反向传播)。梯度替换能够在计算机培训期间纠正芯片缺陷。首先,脉冲神经网络使用来自芯片上模拟神经元的不同电压执行一项简单的任务,并将电压记录发送回计算机。然后,让算法自动学习如何最好地改变其神经元之间的连接,以便它仍然可以与模拟神经元很好地协同工作,并在学习时不断更新芯片上的神经元。最后,当训练完成后,脉冲神经网络就可以在芯片上顺利地执行任务了。研究人员表示,他们的神经网络在语音和视觉任务上实现了与在计算机上执行任务的顶级脉冲神经网络相同的准确性。换句话说,该算法确切地知道需要进行哪些更改才能克服设备不匹配。萨塞克斯大学的计算神经科学家ThomasNowotny说:“正如预期的那样,该系统的能源效率令人印象深刻:它运行时所消耗的能源比标准处理器少大约1,000倍。然而,Frenkel指出,神经形态芯片仍然需要通过针对类似语音和视觉识别任务优化的硬件来证明自己。Nowotny还指出,这种方法可能难以扩展到大型实际任务,因为它仍然需要在计算机和芯片之间来回移动数据。该团队的最终目标是拥有一个脉冲神经网络,可以在神经形态芯片上从头到尾进行训练和运行,而无需传统计算机。尽管如此,设计和生产所需的新一代芯片仍可能需要数年时间。作者介绍了FriedmannZenker,他是瑞士苏黎世弗里德里希米歇尔生物医学研究所的神经计算科学家。主要研究方向为仿生脉冲神经网络的学习、记忆、信息处理过程,机器学习与神经计算科学的交叉学科。JohannesHimmel是德国海德堡大学物理学院专用集成电路实验室主任和电子视觉研究组组长。研究方向为混合VLSI系统的信息处理应用,尤其是仿生神经网络模型的仿真应用方向。