Hinton刚刚在推特上发起了一点讨论：人们反对在设计飞行器时像羽毛一样设计神经网络时从大脑中获取灵感。△“通常，在设计神经网络时，很多人反对从大脑中汲取灵感。它可以通过快速预处理轻松修复。”那么，神经网络的设计能不能借鉴人脑的结构呢？“能”还是“不能”，这是一个问题。前排网友激动的讨论：没错，飞机的设计受到了启发自然界已经教会了我们如何飞翔，人工智能也是如此。神经网络还在发展中，凡是难倒人类但自然界已经解决的问题，我们没有理由不去研究自然界的问题。解决方案，除非我们疯了。也有网友表示：的确，人类不可能像鸟类和昆虫那样以惊人的灵活性（滑行、加速、停止、高效率）“飞行”。对于大脑来说，什么是“飞行”？预测？也许.神经网络不能像大脑一样完成很多任务，我觉得很有启发性。也有网友认为：对于分类问题，BP（反向传播）可以看做是LR（逻辑回归）加上特征工程。△whydoyoucare关于这个问题？这就是事情，它是t在数学中也是如此，你使用一些工具来获得一个或多个想要的结果，如果你幸运的话，过一段时间你就会明白为什么这些工具真的对你有帮助。对于分类问题，BP可以看作是LR加了特征工程。有网友表示，该机还没有考虑到自我保护和自我维持的设计。△大脑和鸟类出于生存的需要进化出了自我修复的能力。无人机和它们击中的东西被视为人造的和可替换的。该机尚未考虑自我保护和自我维持的设计。甚至有网友质疑是否可以将脑神经网络比作鸟的羽毛：△我们必须确定神经网络与大脑的关系是否可以比作羽毛与鸟类（或叶片与无人机）的关系).关系是平等的……不确定是不是这样。也有网友提出了《大英百科全书》的解释：羽毛的进化比鸟类还早，甚至比鸟类的飞行还要早。所以早期的羽毛有绝缘功能，（……），但没有空气动力学和飞行功能。(...)羽毛不再被认为是鸟类的独特特征和诊断特征。反向传播对大脑来说是不可能的在反向传播算法出现后的几十年里，关于大脑如何学习的理论在很大程度上受到了“赫布理论”（1949）的影响，通常被解释为“共同激发的神经元之间存在联系”，也就是说，相邻神经元的活动越相关，它们之间的突触联系就越强。通过一些修改，该理论成功地解释了某些类型的学习和分类任务。尽管赫布理论是一种非常狭隘、特殊且不敏感的使用错误信息的方法，但它仍然是神经科学家的最佳经验法则，在20世纪50年代后期，它甚至启发了第一个人工神经网络的发展。这些网络中的每个人工神经元都接收多个输入并产生一个输出，就像真实的神经元一样。人工神经元用所谓的“突触”权重（一个表示该输入重要性的数字）对其输入总和进行加权。到1960年代，这些神经元可以组织成具有输入层和输出层的网络，并且可以训练“人工神经网络”来解决某些简单的问题。在训练期间，神经网络确定其神经元的最佳权重以减少错误。然而，直到1986年，还没有人知道如何高效地训练具有“隐藏层”的人工神经网络，直到Hinton发表了一篇关于“反向传播算法”的论文。反向传播的发明立即引起了一些神经科学家的强烈抗议，他们认为这种方法不可能在真实的大脑中起作用。首先，虽然计算机可以轻松地分两个阶段实现算法，但对于生物神经网络而言，这样做并不简单。其次，计算神经科学家称之为权重转移问题：反向传播算法复制或“转移”有关推理中涉及的所有突触权重的信息，并更新这些权重以获得更高的准确性。但在生物网络中，神经元只能看到其他神经元的输出，而看不到影响输出的突触权重或内部过程。从神经元的角度来看，“知道自己的突触权重没关系，你无法知道其他神经元的突触权重。”任何生物学上合理的学习规则也需要遵守神经元只能从相邻神经元学习。限制神经元获取信息的方式；反向传播可能需要从更远的神经元获取信息。因此，“如果你反向传播信号，大脑似乎无法计算。”胶囊网络2017年，深度学习三巨头之一的GeoffreyHinton发表了两篇解释“胶囊网络（CapsuleNetworks）”的论文。当时这是一个全新的基于新结构-胶囊的神经网络，在图像分类上取得了优越的性能，解决了CNN的一些缺陷，比如无法理解图片和语义关系，没有能力空间分层和空间推理等。在CNN中，左右图片都可以被网络识别为人脸。Hinton本人曾公开表示，他要证明为什么卷积神经网络完全是“垃圾”，应该被他自己的胶囊网络所取代。在过去的三年里，他每年都会推出新版本的胶囊网络。2月，Hinton发表了一篇新论文：HowtoRepresentPart-WholeHierarchiesinNeuralNetworks?(Howtorepresentpart-wholehierarchiesinaneuralnetwork)在这篇论文中，他提出了一种名为GLOM的架构，可以在神经网络中使用capsules来表示视觉层次，即part-whole关系。GLOM通过提出岛的概念来表示解析树的节点。GLOM可以显着提高transformer类模型的可解释性。它可以显着提高transformer类模型的可解释性。作为深度学习的大牛，Hinton提出了反向传播（BP），之后一直在否定自己的工作。他提出“胶囊网络”等工作，增加生物学解释，有利于揭开大脑结构和神经网络的奥秘，他的思考从未停止。
