on30years从之前一篇描述多层神经网络训练方法的论文演变而来。那就是GeoffreyHinton在1986年写的《Learning representations by back-propagation errors》，这篇论文意义重大。可以说是第一次将反向传播算法（Backpropagationalgorithm）引入到多层神经网络训练中，为后来该算法的推广，尤其是最近10年的人工智能，奠定了基础。人工智能的发展已经奠定了基础，但要保持这种进步，就需要清醒地面对人工智能的局限性。作为反向传播的倡导者，现年72岁的GeoffreyHinton仍然站在反思（甚至质疑）反向传播的最前沿。2017年，他还明确表示“我们需要摒弃反向传播算法，另辟蹊径”。从Hinton自身的实践来看，解谜者的大脑将被纳入这条路径之中，这位“人工神经网络之父”近年来频频表现出对脑科学研究的浓厚兴趣，并发表了一定数量的论文大脑神经科学。最近，GeoffreyHinton在NatureReviewsNeuroscience上发表了一篇名为Backpropagationandthebrain的文章，阐述了他对反向传播的最新思考。从研究思路上看，他希望探索人脑中反向传播机制的可能性，而这个方向在神经科学领域受到广泛质疑。反向传播主导的人工神经网络反向传播在人工智能领域的地位占据主导地位，尤其是它在人工神经网络（NeuralNetworks，NNs）中的作用。要理解这个概念，你可以先把人工神经网络想象成一个有很多层的三明治。每一层都有人工神经元，微小的计算单元。当这些神经元放电时，它们会向另一个连接的神经元发送信号（与真实神经元放电的方式相同）。每个神经元的兴奋程度用一个数字来表示，比如0.13或者32.39。在两个神经元的交界处还有一个重要的数字，代表有多少兴奋从一个神经元传递到另一个神经元。该数字用于模拟人脑神经元之间的连接强度。值越高，连接越强，从一个神经元到另一个神经元的兴奋度越高。以深度神经网络最成功的应用图像识别为例。HBO电视剧《硅谷》中有这样一个场景：创业团队开发了一个程序，可以识别图片中是否有热狗。要让它们起作用，您首先需要一张照片。举个简单的例子，让神经网络读取一张黑白照片，宽100像素，高100像素。输入层每个模拟神经元的激发值就是每个像素点的亮度。因此，在这个三明治的底部，10,000个神经元(100x100)代表图像中每个像素的亮度。然后，将这一层神经元连接到另一层神经元，如果一层上有数千个神经元，则将它们连接到另一层的数千个神经元，然后逐层进行。最后，三明治的最顶层，即输出层，只有两个神经元，一个用于“热狗”，一个用于“不是热狗”。这个过程是训练神经网络在图片中有热狗时只对第一个神经元放电，而在图片中没有热狗时只对第二个神经元放电。这种训练方法是Hinton开发的反向传播技术。当你刚刚创建一个神经网络时，神经元之间连接的强度是随机的。也就是说，每个连接传递的激励值也是随机的，就像人脑中的突触没有完全形成一样。反向传播的作用是在输入不变的情况下，通过改变数值来增加输出的灵敏度（类似于通过负反馈进行校准），从而使神经网络达到特定的目标。它是人工神经网络实现中非常重要的技术。作为训练神经网络的基本算法之一，它使神经网络更加“智能”。现在来看，反向传播的原理其实并不复杂，只是需要大量的数据才能达到最好的效果。这就是为什么这项技术在30年前就被提出了，但直到最近几年，数据才作为最基本的“食物”落地，才在现实生活中产生了巨大的价值。问题来了，反向传播是作为计算机科学家的欣顿为了让机器变得更智能而构想的一种工程方法，但这种机制真的存在于人脑中吗？如果机器要在仿生人脑的道路上实现更高水平的类人智能，这个问题可能难以避免，也是Hinton最新论文的核心。新论文：反向传播反向传播试图通过对存在于人脑中的“跟踪”人工神经网络中的突触权重进行微小更改来减少误差。在这项最新研究中，Hinton的团队认为，虽然大脑可能不会完全按照反向传播的概念运作，但反向传播为理解大脑皮层的学习方式提供了新的线索。众所周知，人脑通过调整神经元之间的突触连接来学习，但由于皮层中的突触嵌入多层网络中，这使得很难确定单个突触修改对系统行为的影响。虽然反馈连接在大脑皮层中无处不在，但很难看出它们如何传递严格反向传播算法所需的错误信号。在这里，我们以过去和最近的发展为基础，证明反馈连接可能会诱发神经活动，并且这些神经活动的差异可用于局部近似这些信号，以推动大脑深层网络的有效学习。最近的工作表明，反向传播训练的模型比灵长类动物视觉皮层腹侧流中表示的其他模型更好地匹配观察到的神经反应，以及未接受反向传播训练的模型（例如使用具有Gabor过滤器的受生物启发的模型，或优化的网络使用非反向传播）比使用反向传播优化的网络表现更差。因此，该团队认为反向传播的实用性和效率相比较而言至少暗示了大脑使用错误驱动的反馈来学习，这就是反向传播的核心思想。Hinton团队将这种基于活动状态错误驱动突触变化的学习机制称为NGRAD（neuralgradientrepresentationbyactivitydifferences）。“当反向传播的概念作为深入了解皮层学习的可能开端而被引入时，它在神经科学中引起了轰动。但反向传播与皮层的相关性很快受到质疑——部分原因是它未能在大脑中产生出色的表现人工系统，具有明显的生物不可靠性。随着更强大的计算能力、更大的数据集和一些技术改进的出现，反向传播现在可以训练多层神经网络来与人类能力竞争。NGRAD解决了反向传播在一个显着的不可靠性这与我们认为生物电路的工作方式是一致的，”该论文写道。该团队还指出，局限性在于，虽然越来越多的证据表明用反向传播训练的多层网络可以帮助解释神经数据，但关于如何在皮质中实现类似反向传播的学习仍然存在很多问题，例如在反向传播中，传输的误差信号不会影响前向传播产生的神经元的活动状态，但是在大脑皮层中，这些连接会影响前馈传播产生的神经活动，大脑皮层的反馈连接不仅可以调整后，Activations也可以驱动活动，这比反向传播要复杂得多。还有一些问题：人工智能和大脑会越来越远，还是会越来越近？针对这项大脑是否存在反向传播机制的研究，北京大学信息科学与技术学院教授、北京致远人工智能研究院院长黄铁军教授解读：“我提出GATIC2017的一个观点，即人脑的神经网络结构是进化大数据训练的结果。年。我认为这个过程很可能有一个广义的反向传播机制。”这就像深度学习中的反向传播，将一个非结构化的多层人工神经网络训练成具有特定结构的专用网络。大脑的进化也逐渐将不断增长的没有特定结构的皮层训练成分工明确、结构基本确定的神经网络。网络。后天学习只是微调，并不能改变大脑的基本结构。“我认为如果反向传播有效，主要是在大脑先天结构的形成，而不是在学习过程中。包括这篇文章在内的许多学者都在寻找反向传播机制，但这可能不是针对正确的方向，”他说。以视觉系统为例，他解释说：“人类视觉系统的神经网络结构基本上在出生时就已经确定了。比如初级视皮层V1到V4的划分和区间连接就已经确定了。真正的视觉刺激是在婴儿期接收到，修改突触，V1和视觉皮层中的大部分突触是固定的，形成我们的视觉功能。注意在婴儿期只有突触被修改，V1到V4的基本结构没有改变。相比之下，深度学习的出发点并不是这种先天形成的具有基本结构的神经系统，而是可以像视觉网络或语言网络一样训练的多层神经网络。因此，深度学习的训练过程，实际上是在重复大脑进化了数亿年的结构生成任务。”黄铁军认为，从人脑在自然环境下的“训练”来看，反向传播是一种可能的训练方式。“数十亿年生物进化的大数据就是地球环境，训练机制也丰富多样，反向传播可能就是其中之一。再强大的深度学习算力，再大的数据是，很难与之相提并论。”因此，我们他说，模仿生物大脑已经训练好的神经网络结构，而不是从头开始寻找结构，是获得更强智能的更快途径，”他说。当然，这许多可能性仍然是开放的致计算机科学家和神经科学家。我们共同推动发现。需要指出的是，虽然深度学习的概念在诞生初期还带有神经科学的影子，但近年来，随着深度学习本身的飞速发展，它已经越来越自成体系，几乎与神经科学无关：研究深度学习的专家们专注于改进算法，而神经科学家探索的问题与人工深度神经网络基本无关。像Hinton团队一样，用深度学习中发展起来的思想来研究大脑并不是主流，而是希望在神经科学和现有人工智能（尤其是深度学习技术为代表）之间建立更多的联系。正如Hinton团队在文章最后所说：“30年前，人们认为神经科学可能没有什么可学的，因为从生物学的角度来看，反向传播算法的某些方面是不现实的。随着梯度学习算法在深度神经网络凭借强大的学习能力，我们开始认为大脑的高效学习极有可能逼近计算梯度。”AI算法与人脑是会越来越远，还是会越来越近？相信以后会有更多的人加入这个团队去寻找这个问题的答案。
