今天的主角是AI界一对相爱相杀的宿敌：YannLeCun和GaryMarcus在正式讲述这一次的“新冤家”之前，先来说说一回头，两大神的“旧仇”。LeCun与Marcus之争Facebook首席人工智能科学家、纽约大学教授、2018年图灵奖获得者杨立坤（YannLeCun）在NOEMA杂志发表文章回应GaryMarcus此前对AI和深度学习的评论.此前，马库斯在《鹦鹉螺》杂志上发表文章称，深度学习已经“无法推进”。马库斯是个不大看热闹的人。只要有一点风吹草动，他就会说一句“AI已死”，引起圈内一片哗然！我之前发表过很多次，称GPT-3为“胡说八道”和“胡说八道”。铁证如山：好家伙，你居然说“深度学习碰壁了”。看到如此猖獗的评论，AI界大牛LeCun坐不住了，立马发文回应！还说，你要跟我排队！在文章中，LeCun一一抨击了马库斯的观点。来看看大师是怎么写文章回复的~~以下是LeCun的长文：当代人工智能的领先技术是深度学习（DL）神经网络（NN），它是一种大规模的自学习算法。擅长识别和利用数据中的模式。从一开始，批评者就过早地争辩说，神经网络已经撞上了“不可逾越的墙”，而且每一次，它都被证明是暂时的障碍。在1960年代，NN无法解决非线性函数。但这种情况并没有持续多久。80年代随着反向传播（Backpropagation）的出现而改变，但又出现了一个新的“不可逾越的墙”，那就是训练系统非常困难。20世纪90年代，人类开发了简化的程序和标准化的架构，这让训练变得更加可靠，但无论取得什么样的结果，似乎总有一道“不可逾越的墙”。这一次，是缺少训练数据。和计算能力。2012年，当最新的GPU可以在庞大的ImageNet数据集上进行训练时，深度学习成为主流，轻松击败所有竞争对手。但紧接着，质疑声不断：人们发现了“新墙”——深度学习训练需要大量人工标注的数据。然而，在过去的几年里，这种质疑变得毫无意义，因为自监督学习已经取得了相当不错的效果，比如GPT-3，它不需要标注数据。今天似乎无法逾越的障碍是“符号推理”，即以代数或逻辑方式处理符号的能力。正如我们小时候学习的那样，解决数学问题需要根据严格的规则逐步操作符号（例如，求解方程）。《The Algebraic Mind》的作者和《Rebooting AI》的合著者GaryMarcus最近认为，DL未能取得进一步进展是由于神经网络难以处理这种符号操作。相比之下，许多DL研究人员认为DL已经在进行符号推理，并且会继续改进。这场辩论的核心是符号在人工智能中的作用，有两种不同的观点：认为符号推理必须从一开始就硬编码的人，以及认为机器可以学习符号推理的力量的人通过经验。能力。因此，问题的关键在于我们应该如何理解人类的智能，进而应该如何追求能够达到人类水平的人工智能。不同类型的人工智能符号推理最重要的是精度：根据排列组合，符号可以有很多不同的顺序，比如"(3-2)-1和3-(2-1)的区别)”是非常重要的，所以如何以正确的顺序进行正确的符号推理是至关重要的。根据马库斯的说法，这种推理是认知的核心，对于提供语言的基本语法逻辑和数学的基本运算至关重要。他认为这扩展到我们更基本的能力，其背后隐藏着潜在的符号逻辑。而我们所知道的人工智能，就是从研究这种推理开始的，也就是人们常说的“符号人工智能”。但是，将人类的专业知识提炼成一套规则非常具有挑战性，并且会消耗大量的时间和人力成本。这就是所谓的“知识获取瓶颈”。虽然为数学或逻辑编写规则很简单，但世界本身是黑白分明的，而且非常模糊，事实证明，人类不可能编写出管理每个模式的规则或为每个模糊概念定义符号。但技术已经发展到神经网络擅长寻找模式和接受歧义的地步。神经网络是一个相对简单的方程式，它学习一个函数，该函数为系统的任何输入提供适当的输出。比如训练一个二元分类网络，将大量的样本数据（这里以椅子为例）放入神经网络，训练几个epoch，最后让网络成功推断新图片是否是一把椅子。说白了，这不仅仅是人工智能的问题，更本质的是什么是智能，人脑是如何工作的。“这些神经网络可以精确地训练，因为实现它的函数是可微分的。换句话说，如果符号AI类似于符号逻辑中使用的离散标记，那么神经网络就是微积分的连续函数。”这允许微调参数以学习更好的表示，这意味着它可以更正确地拟合数据而不会欠拟合或过拟合。然而，这种流动性在涉及严格规则和离散标记时引入了新的“墙”：当我们求解一个方程时，我们通常想要精确的答案，而不是近似的答案。这就是SymbolicAI大放异彩的地方，因此Marcus建议将两者结合起来：在DL模块之上插入一个硬编码的符号操作模块。这很有吸引力，因为这两种方法可以很好地相互补充，因此看起来具有不同工作方式的模块“混合”将最大限度地发挥两种方法的优势。但争论转向了符号操纵是否需要构建到系统中，其中符号和操纵能力是由人类设计的，模块不可微——因此与DL不兼容。传说中的“符号推理”假说很有争议。传统的神经网络认为，我们不需要手动进行符号推理，而是可以学习符号推理，即用符号实例训练机器进行正确类型的推理，从而学习完成抽象模式。简而言之，机器可以学习操纵世界上的符号，尽管没有内置的符号和符号操纵规则。GPT-3和LaMDA等当代大型语言模型展示了这种方法的潜力。他们操纵符号的能力令人震惊，模型展示了惊人的常识推理、组合能力、多语言能力、逻辑和数学能力，甚至还有可怕的模仿死者的能力。但实际上，这样做并不靠谱。如果你让DALL-E制作一个罗马雕塑，一个留着胡子、戴着眼镜、穿着热带衬衫的哲学家，那将是非常出色的。但是，如果你要求它画一只戴着粉红色玩具的小猎犬追逐一只松鼠，有时你会得到一只戴着粉红色玩具的小猎犬或一只松鼠。当它可以将所有属性分配给一个对象时，它做得很好，但是当有多个对象和多个属性时，它就笨手笨脚了。许多研究人员的态度是，这是DL在通往更像人类智能的道路上的“一堵墙”。那么，符号操作是否需要硬编码？或者可以学吗？这不是马库斯所理解的。他假设符号推理是全有或全无——因为DALL-E没有符号和逻辑规则来作为其操作的基础，它实际上并不使用符号进行推理。因此，大型语言模型的无数次失败表明它们不是真正的推论，而只是没有情感的死记硬背。爬上足够大的树，马库斯是不可能到达月球的。因此，他认为目前的DL语言模型并不比NimChimpsky（一只会使用美国手语的雄性黑猩猩）更接近真实语言。DALL-E的问题不在于缺乏培训。它们只是无法掌握句子底层逻辑结构的系统，因此无法正确掌握不同部分应如何连接成一个整体。相比之下，GeoffreyHinton等人。认为神经网络不需要硬编码符号和代数推理来成功操纵符号。DL的目标不是在机器内部操纵符号，而是学习从世界上的系统中产生正确的符号。拒绝混合这两种模式并不是马虎，而是基于一个人是否认为可以学习符号推理的哲学差异。人类思维的潜在逻辑Marcus对DL的批评源于认知科学中关于智力如何运作以及是什么使人类独一无二的相关辩论。他的观点与心理学中著名的“先天论”学派一致，该学派认为认知的许多关键特征是与生俱来的——事实上，我们天生就知道世界是如何运转的。这种与生俱来的感知能力的核心是操纵符号的能力（但这是自然界中普遍存在的还是人类独有的，尚待定论）。对于马库斯来说，这种操纵符号的能力是常识的许多基本特征的基础：规则遵循、抽象、因果推理、细节的重新识别、概括等等。简而言之，我们对世界的大部分理解都是天生的，学习就是充实细节。还有另一种实证观点打破了上述观点：符号操纵在自然界中很少见，主要是我们的原始人祖先在过去200万年中逐渐获得的一种学习交流能力。从这个角度来看，主要的认知能力是非符号学习能力，这与增强的生存能力有关，例如快速识别猎物、预测他们可能的行动以及发展熟练的反应。这种观点认为，绝大多数复杂的认知能力都是通过一般的、自我监督的学习获得的。它还假设我们的大多数复杂认知能力不依赖于符号操作。相反，他们模拟各种场景并预测最佳结果。这种实证观点认为，符号和符号操作只是另一种后天习得的能力，随着人类越来越依赖合作行为获得成功而获得。这将符号视为我们用来协调群体之间协作的发明——如文字、地图、标志性描述、仪式，甚至社会角色。两种观点之间的差异是明显的。对于先天论传统，符号和符号操作本质上存在于头脑中，而单词和数字的使用则源于这种原始能力。这个想法很有吸引力地解释了进化适应产生的那些能力（尽管对符号操作如何或为什么进化的解释一直存在争议）。从经验主义传统的角度来看，符号和符号推理是一种有用的交流发明，源于一般的学习能力和我们复杂的社会世界。这将发生在我们头脑中的象征性事物，例如内部计算和内部独白，视为源自数学和语言使用的外部实践。人工智能和认知科学领域紧密交织，因此这些争斗在这里重演也就不足为奇了。由于人工智能中任何一种想法的成功都将部分（但只是部分）证明认知科学中的一种或另一种方法是正确的，因此这些争论的激烈程度应该不足为奇。问题的关键不仅是如何正确解决当代人工智能领域的问题，更重要的是要解决什么是智能以及大脑是如何工作的。对于AI，是押注还是做空？为什么“深度学习撞墙”的说法如此具有煽动性？如果马库斯是对的，那么无论深度学习提出多少新架构或投入多少计算能力，深度学习都永远无法实现类人人工智能。继续向神经网络添加更多层只会让它变得更加混乱，因为真正的符号操作需要自然的符号操作器。由于这种符号运算是几种常识能力的基础，DL对任何事物都只会“求知若渴”。相比之下，如果DL的拥护者和经验主义者是正确的，那么插入一个用于符号操作的模块的想法就令人费解了。在这种背景下，深度学习系统已经在进行符号推理，并将继续改进，因为它们通过更多的多模态自监督学习、越来越有用的预测世界模型进行学习，并努力模拟和评估结果内存扩展以更好地满足约束条件。引入符号操作模块并不会创造出更像人类的人工智能，反而会迫使所有的“推理”操作通过一个不必要的瓶颈，使我们离“类人智能”越来越远。这可能会切断深度学习最令人兴奋的方面之一：它能够提出比人类更好的解决方案。话虽如此，这些都不能证明愚蠢的炒作是正确的：当前的系统无法理解我们，因为它们没有意识，强化学习是不够的，而且你不能仅仅通过扩大规模来建立类人智能。但所有这些问题都是主要辩论的“边缘问题”：符号操作是硬编码的吗？或者它们是可以学习的吗？这是停止研究混合模型（即具有不可微分符号操纵器的模型）的呼吁吗？当然不是。.人们应该选择有效的方法。但自1980年代以来，研究人员一直在使用混合模型，但尚未证明它们是一种有效的方法，而且在许多情况下，甚至可能远不如神经网络。更一般地说，人们应该怀疑深度学习是否已经达到了极限。
