符号处理是逻辑、数学和计算机科学中的常见过程，将思维视为一种代数运算。近70年来，人工智能领域最根本的争论一直是人工智能系统应该基于符号处理还是基于类似于人脑的神经系统。实际上还有第三种可能性作为中间地带——混合模型。混合模型试图通过将神经网络的数据驱动学习与符号处理的强大抽象能力相结合来实现两全其美。这也是我大部分个人职业生涯的工作方向。在最近发表在NOEMA杂志上的一篇文章中，图灵奖获得者、Meta的首席人工智能科学家YannLeCun和LeCun实验室的“常驻哲学家”JacobBrowning也参与了这场辩论。这篇文章似乎提供了新的替代方案，但仔细观察就会发现，这篇文章的论点既不新颖也不令人信服。YannLeCun和JacobBrowning在他们发表在NOEMA杂志上的文章中首次正式回应了“深度学习已经碰壁”的观点，称“从一开始，批评者就过早地认为神经网络遇到了不可逾越的墙，但每个时间证明它只是一个暂时的障碍。”在文章的开头，他们似乎反对混合模型，混合模型通常被定义为将深度学习与神经网络和符号处理相结合的系统。但最后，LeCun一反常态地用很多话承认了混合系统的存在——它们很重要，它们是一种可能的前进方式，我们一直都知道这一点。文章本身是自相矛盾的。关于为什么存在这样的矛盾，我能想到的唯一原因是LeCun和Browning以某种方式相信学习符号处理的模型不是混合模型。但是学习是一个发展问题（系统是如何产生的？），而一个已经开发的系统如何工作（具有一种或两种机制）是一个计算问题：通过任何合理的衡量，一个同时使用符号和神经网络机制的系统是一个混合系统。（也许他们真正想说的是，AI更像是一种学习的混合体，而不是先天的混合体。但学习的混合体仍然是混合体。）在2010年左右，2020年左右，符号处理被深度学习的支持者认为是一个坏词；在2020年，了解符号处理的来源是我们的首要任务。我认为符号处理要么是与生俱来的，要么是其他东西间接促成了符号处理的获得。我们越早弄清楚是什么基础允许系统学习符号抽象，我们就能越早构建正确利用世界上所有知识的系统，它们就会更安全、更值得信赖和可解释。然而，首先，我们需要了解人工智能史上这场重要辩论的来龙去脉。早期人工智能先驱马文明斯基和约翰麦卡锡认为符号处理是唯一合理的前进方式，而神经网络先驱弗兰克罗森布拉特认为人工智能最好建立在称为“节点”的神经元集合这样的结构上，这些结构可以处理数据，做繁重的统计工作。这两种可能性并不相互排斥。人工智能使用的“神经网络”并不是生物神经元的字面网络。相反，它是一种简化的数字模型，有点像真实的生物大脑，但复杂性极低。原则上，这些抽象的神经元可以通过多种不同的方式连接起来，其中一些可以直接实现逻辑和符号处理。早在1943年，该领域最早的论文之一《A Logical Calculus of the Ideas Inmanent in Nervous Activity》就明确承认了这种可能性。50年代的FrankRosenblatt和80年代的DavidRumelhart和JayMcClelland提出了神经网络作为符号处理的替代方案；GeoffreyHinton也普遍支持这一立场。这里不为人知的历史是，早在2010年代初期，LeCun、Hinton和YoshuaBengio就对这些最终实用的多层神经网络充满热情，以至于他们想要完全扼杀符号处理。到2015年，LeCun、Bengio和Hinton在Nature上发表深度学习宣言时，深度学习还处在欣欣向荣的热血时代。该论文以对符号的攻击结束，认为“需要新的范例来通过对大向量的操作来取代对符号表达式的基于规则的操作”。事实上，当时的欣顿深信符号处理是一条死胡同，以至于同年他在斯坦福大学做了一场名为“以太符号”的演讲——将符号与科学史上最大的错误之一进行了比较。同样，辛顿的合作者Rumelhart和McClelland在1980年代也提出了类似的观点，他们在1986年的一本书中指出符号不是“人类计算的本质”。当我在2018年写一篇捍卫符号处理的文章时，LeCun在Twitter上称我的混合系统观点“大部分是错误的”。当时，Hinton还把我的工作比作在“汽油发动机”上浪费时间，“电动发动机”才是最好的前进方向。甚至在2020年11月，Hinton还声称“深度学习将做一切”。因此，当LeCun和Browning现在毫不讽刺地写道“从事深度学习的每个人都同意符号处理是创造类人人工智能的必要特征”时，他们正在扭转数十年的争论历史。正如斯坦福大学人工智能教授克里斯托弗·曼宁所说：“LeCun的立场发生了一点变化。”显然，十年前的方法现在已经不适用了。在2010年代，机器学习社区中的许多人断言（没有真正的论据）：“符号在生物学上不合理”。十年后，LeCun正在考虑一种涉及符号处理的新方法，无论是天生的还是后天习得的。LeCun和Browning关于符号处理至关重要的新观点代表了深度学习领域的巨大让步。人工智能历史学家应将NOEMA期刊文章视为一个重大转折点，其中深度学习三巨头之一的LeCun率先直接承认混合人工智能的必然性。值得注意的是，今年早些时候，深度学习三人组的另外两名成员也表示支持混合人工智能系统。计算机科学家AndrewNg和LSTM的创始人之一SeppHochreiter也表达了他们对此类系统的支持。而JürgenSchmidhuber的人工智能公司NNAISANCE目前正在围绕符号处理和深度学习的结合进行研究。LeCun和Browning文章的其余部分大致可以分为三个部分：对我的立场的错误描述；努力缩小混合模式的范围；以及为什么符号处理是后天习得而不是先天的讨论。例如，LeCun和Browning说：“Marcus认为，如果一开始没有符号操纵，就永远不会拥有它。”而事实在我2001年的《代数思维（The Algebraic Mind）》一书中，我明确表示：我们不确定符号处理是天生的。他们还说我不指望深度学习“有进一步的进展”，我的实际观点并不是任何问题都不会有进一步的进展，而是深度学习对某些任务（比如组合问题）非常有用,因果推理问题))本身就是错误的工具。他们还说我认为“符号推理对于模型来说是全有或全无，因为DALL-E不使用符号和逻辑规则作为其处理的基础，它实际上不使用符号进行推理”，我不从未说过这样的话。DALLE不使用符号进行推理，但这并不意味着任何包含符号推理的系统都必须是全有或全无。至少早在20世纪70年代的专家系统MYCIN之前，就有可以进行各种定量推理的纯符号系统。除了假设“包含学习符号的模型不是混合模型”之外，他们还试图将混合模型等同于“包含不可微符号处理器的模型”。他们认为我将混合模型等同于“两件事的简单组合：插入模式完成深度学习模块的硬编码符号处理模块”。任何从事AI工作的人都意识到这项工作并不那么简单。相反，正如我们都意识到的那样，问题在于构建混合系统的正确方法。已经考虑了许多不同的方法来结合符号网络和神经网络，重点是从神经网络中提取符号规则、将符号规则直接转换为神经网络、构建允许信息在神经网络和符号系统之间传递的中间系统等技术。.并重构神经网络本身。正在探索许多途径。最后，我们来到最关键的问题：符号处理是否可以通过学习而不是从一开始就内建？我直截了当地回答：当然。据我所知，没有人否认符号处理是可以学习的。2001年我在《代数思维》的6.1节回答了这个问题，虽然我觉得不太可能，但我没有说绝对不可能。相反，我的结论是：“这些实验和理论当然不能保证处理符号的能力是与生俱来的，但它们确实符合这个想法。”总的来说，我的论点包括以下两部分：第一部分是“可学习性”的观点：在整本书中我都表明某些类型的系统（本质上是当今更深层次系统的先驱）无法学习符号处理的各个方面，因此存在不保证任何系统都可以学习符号处理。正如我书中的原话：有些东西必须是先天的。但“先天”和“后天”之间并没有真正的冲突。大自然提供了一套让我们与环境互动的机制，一套从世界中提取知识的工具，以及一套利用这些知识的工具。没有一些与生俱来的学习工具，我们根本无法学习。发展心理学家ElizabethSpelke曾说过，“我认为一个带有一些内置起点（例如对象、集合、进行符号处理的设备等）的系统将比纯白板更有效地理解世界。”事实上，LeCun自己最著名的卷积神经网络工作也能说明这一点。第二点是人类婴儿表现出一些符号处理的迹象。在我实验室的一组经常被引用的规则学习实验中，婴儿在他们的训练中概括了超出具体例子的抽象模式的范围。关于人类婴儿内隐逻辑推理的后续工作将进一步证实这一点。不幸的是，LeCun和Browning完全回避了我的两个观点。奇怪的是，他们反而将学习符号等同于后来获得的东西，例如“地图、图形表示、仪式，甚至社会角色”，显然没有意识到我和其他几位认知科学家从认知科学的大量文献中学到了对婴儿、学步儿童的思考，以及从中提取的非人类动物。如果一只羔羊在出生后不久就可以爬下山坡，为什么新生的神经网络不应该进行一些符号处理呢？最后，令人费解的是，为什么LeCun和Browning会竭尽全力反对符号处理的内在本质？他们没有给出反对先天性的强有力的原则性论据，也没有给出学习符号处理的任何原则性理由。值得注意的是，LeCun的最新研究包含了一些“先天性”符号处理。他最近公布的新架构总共由六个模块组成，其中大部分是可调的，但都是内置的。此外，LeCun和Browning没有具体说明如何解决语言理解和推理中众所周知的特定问题，因为语言模型没有先天的符号处理机制。相反，他们只是用归纳原理来解释深度学习的作用：“既然深度学习已经克服了1到N的问题，我们就应该相信它可以克服N+1的问题”。这种观点的说服力非常微弱。人们真正应该思考和质疑的是深度学习的极限。其次，深度学习在原则上已经面临挑战，也有很强的具体原因，即组合性、系统性和语言理解问题。这些问题依赖于“泛化”和“分布转移”。该领域的每个人现在都认识到分布转移是当前神经网络的致命弱点。这也是一书中对当今深度学习系统的开创性观点。事实上，深度学习只是构建智能机器的一部分。此类技术缺乏表示因果关系的方法，例如疾病与其症状之间的关系，并且可能对捕捉抽象概念提出挑战。深度学习没有明显的逻辑推理方式，要整合抽象知识还有很长的路要走。当然，深度学习进步很大，擅长模式识别，但在推理等一些基础问题上还远远不够，系统还很不可靠。以谷歌开发的新型号Minerva为例。它在训练时有数十亿个token，但仍然难以完成4位数字的乘法问题。它在一次高中数学测试中答对了50%，但被吹捧为“重大进步”。因此，深度学习领域仍然很难构建一个掌握推理和抽象的系统。现在的结论是：不仅深度学习有问题，而且深度学习“一直都有问题”。在我看来，有符号处理的情况可能一如既往：在20年“代数思维”的影响下，现在的系统仍然不能可靠地提取符号处理（比如乘法），即使面对庞大的数据集和培训。这样。来自人类婴幼儿的例子表明，在接受正规教育之前，人类能够归纳复杂的自然语言和推理概念（假设在本质上是象征性的）。一点内置的象征意义可以大大改善学习。LeCun自己在卷积方面的成功（对神经网络连接方式的内置限制）很好地说明了这种情况。AlphaFold2的成功部分源于构建良好的分子生物学先天表征，而模型的作用是另一个原因。DeepMind的一篇新论文表明，他们在构建有关对象的先天知识以进行系统推理方面取得了一些进展。LeCun或Browning所说的一切都没有改变这一点。退后一步，世界大致可以分为三个部分：系统（例如几乎所有已知的编程语言）在工厂完全安装了符号处理设施。具有先天学习装置的系统缺乏符号处理，但在适当的数据和训练环境下，足以获得符号处理。即使经过足够的训练，也无法获得具有完整符号处理机制的系统。目前的深度学习系统属于第三类：一开始没有符号处理机制，一路上也没有可靠的符号处理机制。LeCun和Browning似乎同意我最近反对缩放的论点，因为他们意识到缩放的作用是添加更多层、更多数据是不够的。我们三个人都承认需要一些新想法。此外，在宏观层面上，LeCun最近的主张在很多方面与我在2020年的主张非常接近，我们都强调感知、推理和拥有更丰富的世界模型的重要性。我们都同意符号处理起着重要作用（尽管可能有所不同）。我们都同意，目前流行的强化学习技术并不能满足所有需求，简单的扩展也是如此。符号处理在所需的固有结构数量以及利用现有知识的能力方面差异最大。符号处理希望尽可能多地利用现有知识，而深度学习希望系统尽可能从头开始。早在2010年代，符号处理在深度学习支持者中是一个不受欢迎的词，而在2020年代，我们应该把理解这种方法的来源放在首位，因为即使是最热心的神经网络支持者也已经认识到符号处理的重要性启用人工智能。神经符号学界长期以来一直在思考的一个问题是：数据驱动学习和符号表示如何在一个更强大的智能中协同工作？令人兴奋的是，LeCun终于致力于实现这一目标。原文链接：https://www.noemamag.com/deep-learning-alone-isnt-getting-us-to-human-like-ai/
