今年3月，加里·马库斯（GaryMarcus）提出“深度学习撞墙”的想法后，引发万千关注人工智能社区的人。层层波浪。那个时候连深度学习的三巨头都坐不住了。首先，GeoffreyHinton在播客中反驳了这种观点。随后在6月份，YannLeCun发文回应，并指出不要把暂时的困难当成碰壁。现在，Marcus在美国NOEMA杂志上发表了一篇题为“DeepLearningAloneIsn'tGettingUsToHuman-LikeAI”的文章。同样，他的观点也没有改变——单靠深度学习无法实现类人智能。他还建议，目前人工智能研究主要集中在深度学习上，是时候重新考虑了。在过去的70年里，人工智能领域最根本的争论一直是：人工智能系统应该建立在“符号运算”之上，还是建立在类脑“神经网络”系统之上。事实上，这里还有第三种可能性：混合模型——将神经网络的深度学习与符号操作的强大抽象能力相结合。LeCun最近发表在NOEMA杂志上的文章《WhatAICanTellUsAboutIntelligence》也探讨了这个问题，但Marcus指出，他的文章看似清晰，但有明显的缺陷，即逻辑上的矛盾。文章以他们拒绝混合模型开始，但文章结尾承认它的存在并将其作为一种可能的前进方式提及。NeuralNetworksandSymbolicOperations的混合模型Marcus指出，LeCun和Browning的观点主要是“如果一个模型学会了符号操作，它就不是混合的”。但是机器学习的问题是发展的问题（系统是怎么产生的？）而系统一旦发展起来如何表现是计算的问题（例如，它使用一种机制还是两种机制？），即“任何两个神经网络的系统都是混合模型”。也许他们真正在说的是，人工智能很可能是后天习得的混合体，而不是天生的混合体。但是学习的混合体仍然是混合体。而马库斯的观点是，“符号操纵本身就是先天的，或者说有另一种东西是先天的，这种东西间接促成了符号操纵的产生。”因此，我们的研究重点应该放在如何发现这种间接有助于符号操纵的媒介上。即提出一个假设，只要弄清楚是什么媒介让系统达到可以学习符号抽象的地步，我们就可以构建利用世界上所有知识的系统。接下来，马库斯引用经典，梳理了人工智能领域关于符号操纵和神经网络的争论史。早期的AI先驱，如MarvinMinsky和??JohnMcCarthy，认为符号操作是唯一合理的前进方向。而神经网络先驱FrankRosenblatt认为，AI可能会在基于神经节点叠加和处理数字输入的结构上表现得更好。事实上，这两种可能性并不相互排斥。AI使用的神经网络并非字面上的生物神经元网络，而是一种简化的数字模型，它具有人脑的某些特性，但复杂性极低。原则上，这些抽象符号可以通过多种不同的方式连接起来，其中一些可以直接实现逻辑和符号操作。沃伦·麦卡洛克(WarrenS.McCulloch)和沃尔特·皮茨(WalterPitts)在1943年出版的《神经活动中内在思想的逻辑演算》中明确承认了这种可能性。其他人，包括1950年代的FrankRosenblatt和1980年代的DavidRumelhart和JayMcClelland，提出了神经网络作为符号操作的替代方案。GeoffreyHinton也普遍支持这一立场。然后Marcus陆续cue了LeCun、Hinton、YoshuaBengio等图灵奖获得者。意思是我说的不算，其他大佬也这么说！时间来到2015年，LeCun、Bengio和Hinton在Nature上写了一篇关于深度学习的宣言论文。该论文以对符号的攻击结束，认为“需要新的范例来通过对大向量的操作来替换对符号表达式的基于规则的操作”。事实上，Hinton坚信符号是一条死胡同，以至于他同年在斯坦福大学发表了名为“以太符号”的演讲——将符号比作科学史上最大的错误之一。他的两位前合作者Rumelhart和McClelland在1980年代提出了类似的论点，他们在1986年的一本著名书中引发了争论，他们认为符号不是“人类计算的本质”。Marcus说，当他在2018年写了一篇为符号操纵辩护的文章时，LeCun没有解释就驳回了他对混合人工智能的论点，并在Twitter上将其斥为“大部分是错误的想法”。随后他表示，深度学习领域的两位知名大牛也表示支持混合AI。AndrewNg在三月份表示支持这样一个系统。SeppHochreiter是LSTM的共同创造者，LSTM是领先的学习序列深度学习架构之一，他也做了同样的事情，他在4月份公开表示，最有前途的通用AI方法是神经符号AI。在LeCun和Browning的新观点中，符号操纵实际上是至关重要的，正如Marcus和StevenPinker从1988年就提出的那样。Marcus还指责LeCun，“我几十年前就提出了你的观点，而你的研究已经倒退了几十年。”而且不只是我说的，其他大佬也是这么想的。LeCun和Browning论文的其余部分可以大致分为三个部分：1.对我的立场的错误描述2.缩小混合模型范围的努力3.符号操作可能是后天习得的，而不是天生的。随后Marcus驳斥了LeCun论文中的观点：LeCun和Browning说，“Marcus说，如果你一开始就没有符号操作，你就永远不会有它。”事实上，我在2001年的《代数思维》中明确承认，我们不确定符号操纵是否是天生的。他们批评我“深度学习无法取得进一步进步”的言论，而我的实际观点并不是DL不会在任何问题上取得进展，而是深度学习本身不适合作文、推理等某些任务。错误的工具。同样，他们诽谤我说符号推理在系统中存在或不存在（1或0）。这简直是??无稽之谈。DALL-E确实不使用符号进行推理，但这并不意味着任何包含符号推理的系统都必须是或不是。至少早在20世纪70年代的MYCIN系统中，就有可以进行各种定量推理的纯符号系统。符号操纵天生的符号操纵能力可以通过学习而不是从一开始就培养出来吗？答案是肯定的。Marcus说，之前的实验虽然不能保证操纵符号的能力是与生俱来的，但与这个想法几乎没有区别。它们确实对任何依赖大量经验的学习理论提出了挑战。并提出以下两个主要论点：1.Learnability在2001年出版的TheAlgebraicMind一书中，Marcus展示了一些系统可以学习符号操作。具有某些内置起点的系统将比纯白板更有效地理解世界。事实上，即使是LeCun自己最著名的著作《论卷积神经网络》(OnConvolutionalNeuralNetworks)也是一个很好的例子：对神经网络学习方式的内置约束，极大地提高了效率。当符号运算很好地结合起来，可能会有更大的收获。2.人类婴儿表现出一定的符号处理能力在一系列经常被引用的规则学习实验中，婴儿概括了抽象模式，超出了他们接受训练的具体例子。随后对人类婴儿内隐逻辑推理能力的研究进一步证实了这一点。此外，研究表明，例如，蜜蜂可以将太阳方位角函数推广到它们以前从未见过的光照条件。在LeCun看来，学习符号等同于晚年获得的东西，因为年轻时需要更精确、更专业的技能。令人费解的是，在反对符号操纵的先天性后，LeCun并没有给出符号操纵是后天获得的有力证据。如果小山羊可以在出生后不久爬下山坡，为什么新生的神经网络不能开箱即用地加入一点符号操作？同时，LeCun和Browning没有具体说明，缺乏符号操纵的内在机制，如何解决语言理解和推理中众所周知的特定问题？他们只是给出了一个较弱的概括：既然深度学习已经克服了1到N的问题，我们应该有信心它能够克服N+1的问题。人们应该怀疑深度学习是否已经达到了极限。鉴于最近在DALL-E2、Gato和PaLM中看到的任务的持续增量改进，谨慎的做法是不要将光点误认为“墙”。之前就预测过深度学习不可避免的失败，但与它对赌得不偿失。乐观是一方面，但也要看清现实。深度学习原则上面临一些特定的挑战，主要是在组合性、系统和语言理解方面，所有这些都围绕泛化和“分布迁移”展开。现在每个人都认识到分布转移是当前神经网络的致命弱点。当然，深度学习已经取得了进展，但在这些基本问题上并没有那么多。在Marcus看来，符号操纵可能是天生的情况与过去大致相同：1.当前系统，在“代数思维”出现20年后，仍然面临海量数据集和训练。无法可靠地提取符号运算（例如乘法）。2.人类婴儿的例子展示了他们在接受正规教育之前概括自然语言和推理的复杂方面的能力。3、一点内在的象征意义，可以大大提高学习效率。AlphaFold2的强大部分来自其精心构建的分子生物学先天特征。简而言之，世界可以大致分为三个仓：一个是工厂中完全安装符号操作设备的系统。第二个是具有先天学习设备的系统缺乏符号操作，但有足够的能力在适当的数据和训练环境下获得它。第三种是即使经过足够的训练也无法获得完整的符号操作机制的系统。目前的深度学习系统似乎属于第三类：一开始就没有符号操纵机制，而且一路上也没有可靠的符号操纵机制。目前，了解符号操作的来源是我们的首要任务。即使是神经网络最热心的支持者现在也认识到符号操作对于实现AI的重要性。而这正是神经符号学界一直在问的问题：数据驱动学习和符号表示如何在一个更强大的智能中协同工作？
