单个神经元也可以实现DNN功能，图像分类准确率达到98%。人工神经网络末端的神经元？——也许有可能。目前，最先进的人工智能系统通过创建多层神经网络来模仿人脑，旨在将尽可能多的神经元塞入尽可能小的空间。不幸的是，这样的设计消耗了大量的电力等资源，输出的结果与强大而“节能”的人脑相比相形见绌。近日，柏林工业大学的研究团队提出了一个新思路：将任意大小的深度神经网络折叠成具有多个延迟反馈回路的单个神经元。研究成果论文发表于Nature子刊。“单神经元AI大脑”的概念无疑为神经网络的发展指明了新的方向。一起来看看这是一个怎样的研究吧！具体方法研究团队设计了一种用于多层前馈深度学习神经网络的全时间折叠方法（Fit-DNN）。Fit-DNN的诞生主要是受到“时间折叠”概念的启发，即使用单个延迟循环配置和输入数据的时间复用来模拟环形拓扑。传统的深度神经网络由耦合在前馈结构中的多层神经元组成。如果使用神经元来实现传统DNN的功能，则有必要在保持层的逻辑顺序的同时找到一种方法对层内的操作进行排序。这只能通过对先前同步的过程进行时间分区来实现：单个神经元在正确的时间接收正确的输入，依次模拟每一层中的单个神经元。传统的相邻层之间的连接被转化为单个神经元在不同时间的连接，即层与层之间的连接变成了延迟连接。同一个神经元在不同的时间被赋予不同的权重，权重由反向传播算法决定。这类似于一位客人在一张大餐桌上通过快速切换座位并说出每个部分来模拟对话。Fit-DNN的核心由具有多个延迟和调制反馈的单个神经元组成。上图展示了它的结构：标有字母f的黑色圆圈代表神经元，它在t处的信号为x(t)；该信号是数据J(t)、偏移量b(t)和反馈信号的总和。可调元素用正方形表示：数据信号由输入向量u生成，蓝色正方形中的矩阵包含输入权重。偏置系数产生灰色方块中的偏置信号。每个反馈回路实施延迟和时间调制以生成反馈信号。最后，使用输出权重矩阵从信号x(t)中获得输出。注意，为了获得数据信号J(t)并输出，需要进行适当的预处理或后运算处理。等价于传统的多层神经网络单个神经元Fit-DNN能否在功能上等同于多层神经网络？如下图所示，Fit-DNN可以将具有多个延迟循环的单个神经元的动力学转化为DNN。图a显示信号x(t)的时间演化可以分为长度为T的区间，每个区间模拟一个隐藏层；实线上的黑点代表节点，θ代表节点分离值。图b显示了原始时间轨迹被切割成长度为T的区间，并且在每个区间内，节点根据其网络位置进行标记。图c是由图b旋转得到的，在其上增加了一个输入层和一个输出层。这些连接由节点之间的动态依赖关系决定，可以根据θ的值精确计算。当节点分离值θ较大时，网络节点之间将形成熟悉的多层DNN形状。然而，当节点分离值θ较小时，每个节点的状态都依赖于前一个节点，而不是完全独立。这些额外的“惯性”连接由面板c中的黑色箭头指示。尽管研究人员恢复了一个具有D=2N-1个延迟循环的全连接DNN，但仿真测试表明这并不完全符合要求。实际上，可以用较少的延迟循环获得足够的性能。在这种情况下，Fit-DNN将实现一种特殊类型的稀疏DNN。可以看出，在一定条件下，Fit-DNN可以完全还原一个没有卷积层的标准DNN，此时，其性能与多层DNN相同。单神经元Fit-DNN通过延迟循环结构将前馈多层神经网络的拓扑复杂性折叠到时域中。延迟系统本身具有无限的相空间，因此只要一个有反馈的神经元就足以折叠整个网络。Fit-DNN的计算机视觉功能测试研究人员使用Fit-DNN进行图像去噪，即：从有噪声的版本中重建原始图像。他们在Fashion-MNIST数据集中的图像中加入了强度为1的高斯噪声，并将高斯噪声视为一个值介于0（白色）和1（黑色）之间的向量。然后截断阈值0和1处的剪切向量条目以获得噪声灰度图像。如上图所示，a行包含来自Fashion-MNIST数据集的原始图像；b行是带有附加高斯噪声的同一图像，这些噪声图像用作训练系统的输入数据。线c表示获得的原始图像的重建结果。可以看出Fit-DNN的图像复原效果是不错的。但Fit-DNN的真正问题是随时间循环的单个神经元能否产生与数十亿个神经元相同的输出。为了展示Fit-DNN和时间状态的计算能力，研究人员选择了五个图像分类任务：MNIST40、Fashion-MNIST41、CIFAR-10、CIFAR-100和SVHN。实验比较了Fit-DNN在隐藏层节点数不同（N=50、100、200、400）时在上述任务中的表现。结果表明，对于相对简单的MNIST和Fashion-MNIST任务，单个神经元可以达到很高的准确率。但对于更具挑战性的CIFAR-10、CIFAR-100和SVHN任务，单个神经元的准确率较低。值得注意的是，这里Fit-DNN只使用了权重矩阵可用对角线的一半。如果增加节点数N，性能将得到有效提升。对研究团队感兴趣的读者可以点击下方链接继续了解更多。IngoFischer是该论文的合著者之一。他获得了博士学位。毕业于菲利普斯马尔堡大学半导体物理专业，后在欧洲多国大学从事博士后研究员、助理教授和工程与物理专业全职教授。经典的多层神经网络，比如流行的GPT-3，目前有750亿个参数，比其前身GPT-2多了100倍。据估计，仅训练一次GPT-3所需的电力相当于丹麦126户家庭一年的用电量，大约相当于开车往返月球的用电量。柏林团队的研究人员认为，Fit-DNN可以应对训练强大的神经网络所需的不断上升的能源成本。科学家们认为，随着技术的发展，该系统可以扩展到从时间暂停的神经元中创建“无限数量”的神经元连接。感兴趣的读者可以点击下方链接继续了解更多。论文链接：https://www.nature.com/articles/s41467-021-25427-4.pdf
