最近，人工智能技术在大规模模型上取得了突破。昨天谷歌提出的Imagen再次引发了人们对AI能力的讨论。通过大量数据的预训练学习，该算法具有前所未有的逼真图像构建和语言理解能力。在很多人眼里，我们已经接近于通用人工智能，但知名学者、纽约大学教授加里·马库斯却不这么认为。近日，他的文章《The New Science of Alt Intelligence》反驳了DeepMind研究总监NandodeFreitas“ScaleWins”的观点。让我们看看他是怎么说的。以下为GaryMarcus原文：几十年来，AI领域一直存在一种假设，认为人工智能应该从自然智能中汲取灵感。约翰·麦卡锡(JohnMcCarthy)关于人工智能为何需要常识的开创性论文—《Programs with Common Sense》；MarvinMinsky，着名的《Society of Mind》的作者，试图在人类思维中寻找灵感；诺贝尔经济学奖获得者赫伯·西蒙因其对行为经济学的贡献而写下了著名的《Models of Thought》，旨在解释“一种新开发的计算机语言如何表达心理过程的理论，从而使计算机能够模拟预测的人类行为”。据我所知，目前的AI研究人员中有很大一部分（至少是比较有影响力的）并不关心这个。相反，他们更关注我所说的“AltIntelligence”（感谢NaveenRao提供的术语）。AltIntelligence并不是指构造出能够以人类智能的方式解决问题的机器，而是利用从人类行为中获得的大量数据来代替智能。目前，AltIntelligence的主要工作是扩展。这种系统的拥护者认为，系统越大，我们就越接近真正的智能，甚至意识。研究AltIntelligence本身并没有什么新鲜事，但与之相关的傲慢是非常的。有一段时间，我看到迹象表明，当前的AI巨星，以及一般AI领域的大多数人，对人类认知不屑一顾，无视甚至嘲笑其他领域的语言学、认知心理学、人类学和哲学学者。但是今天早上，我发现了一条关于AltIntelligence的新推文。这条推文的作者、DeepMind的研究主管NandodeFreitas宣称人工智能“现在就是规模”。事实上，在他看来（也许是故意挑衅的言辞），人工智能中更难的挑战已经得到解决。“游戏结束！”他说。追求AltIntelligence本质上没有错。AltIntelligence代表关于如何构建智能系统的一种直觉（或一组直觉）。由于还没有人弄清楚如何构建能够与人类智能的灵活性和智能相匹配的系统，因此人们可以就如何实现这一目标提出许多不同的假设。NandodeFreitas尽可能直截了当地捍卫这个假设，我称之为Scaling-Uber-Alles（Scaleovereverything）。当然，这个名字并不完全公正。DeFreitas非常清楚，不能仅仅通过扩大模型就期望成功。人们最近做了很多扩展，取得了一些巨大的成功，但也遇到了一些障碍。在深入探讨德弗雷塔斯如何应对现状之前，让我们先来看看现状是什么。当前状态DALL-E2、GPT-3、Flamingo和Gato等系统可能看起来令人兴奋，但仔细研究过这些模型的人不会将它们与人类智能混淆。例如，DALL-E2可以根据文字描述创建逼真的艺术品，例如“马上的宇航员”：但它也容易出现令人惊讶的错误，例如当文字描述是“一个红色方块放在一个蓝色方块上”时square”，左边是DALL-E的生成结果，右边是之前模型生成的结果。显然，DALL-E构建结果不如以前的模型。当ErnestDavis、ScottAaronson和我深入研究这个问题时，我们发现了许多类似的例子：此外，Flamingo表面上看起来很神奇，但它也有自己的bug，正如DeepMind高级研究科学家MurrayShanahan在推特上指出的那样，Flamingo的第一个作者Jean-BaptisteAlayrac后来也添加了一些示例。例如，Shanahan向Flamingo展示了一张图片，导致了以下关于它的泄漏对话：它似乎是“无中生有”。前段时间，DeepMind也发布了多模态、多任务、多体的“多面手”智能体Gato，但细看小字，还是能发现不靠谱的地方。当然，深度学习的捍卫者会指出人类会犯错。但是任何诚实的人都会意识到这些错误表明当前存在缺陷。可以毫不夸张地说，如果我的孩子经常犯这个错误，我会停止我正在做的一切，并立即带他们去看神经科医生。所以，老实说：规模还行不通，但它是可能的，或者deFreitas的理论——时代精神的明确表达——是可能的。Scaling-Uber-Alles那么deFreitas如何调和现实与愿望？事实上，数十亿美元现在已经投入到Transformer和许多其他相关领域，训练数据集从兆字节扩展到千兆字节，参数数量从数百万到万亿。然而，自1988年以来在许多著作中都有详细记录的令人费解的错误仍然存??在。对于某些人（例如我自己）来说，这些问题的存在可能表明需要进行基本面的反思，例如戴维斯和我在《Rebooting AI》中指出的那些。deFreitas则不然（很多人可能也这么认为，我不想单独挑出他，我只是觉得他的说法更有代表性）。在一条推文中，他阐述了他对协调现实与当前问题的看法，“[我们需要]使模型更大、更安全、计算更高效、采样更快、存储更智能、更多模式，还需要研究数据创新、在线/离线等。”关键是，认知心理学、语言学、哲学中一个词都没有（也许更聪明的记忆力勉强算得上）。在后续的帖子中，deFreitas还说：这再次印证了他的“尺度大于一切”陈述，并指出了一个目标：它的志向不仅仅是更好的AI，而是AGI。AGI代表ArtificialGeneralIntelligence，它至少和人类智能一样好，一样足智多谋，应用广泛。我们目前所认识的狭义人工智能，实际上是另类智能（altintelligence），其标志性的成功是国际象棋（深蓝与人类智能无关）和围棋（AlphaGo与人类智能无关）等游戏。信用，一直坦诚相待。那么他将如何实现他的目标呢？重申一下，deFreitas的重点是用于容纳更大数据集的技术工具。其他想法，例如来自哲学或认知科学的想法,可能很重要但被排除在外。“不需要符号哲学，”他说。也许这是对我长期以来将符号操作整合到认知科学和人工智能中的运动的反驳。这个想法最近再次出现在Nautilus杂志上，尽管效果不佳。以下是我的简短回应：他所说的“[神经]网络在创建[符号]和操纵它们方面没有问题”忽略??了历史和现实。他忽略的是历史：许多神经网络爱好者几十年来一直反对符号；他忽略的是，像前面提到的“蓝色立方体上的红色立方体”这样的符号描述仍然可以难倒2022SOTA模型。在推文的最后，DeFreitas表示赞同RichSutton的著名文章《苦涩的教训》：Sutton的论点是，更多的数据，更高效的计算，是导致人工智能进步的唯一因素。在我看来，萨顿只对了一半，他对过去的描述几乎是正确的，但他对未来的归纳预测却没有说服力。到目前为止，在大多数领域（当然不是全部），大数据已经（暂时）战胜了复杂的知识工程。但世界上几乎所有的软件，从网络浏览器到电子表格再到文字处理器，仍然依赖于知识工程，而萨顿忽略了这一点。例如，SumitGulwani出色的FlashFill功能是一个非常有用的一次性学习系统，完全不是建立在大数据的前提下，而是建立在经典的编程技术之上。我认为没有任何纯粹的深度学习/大数据系统可以与之匹敌。事实上，我和史蒂夫·平克、朱迪亚·珀尔、杰瑞·福多等认知科学家几十年来一直指出的人工智能关键问题实际上并没有得到解决。是的，机器可以很好地玩游戏，深度学习在语音识别等领域做出了巨大贡献。但目前还没有人工智能能够有足够的理解力来识别任何文本并建立一个可以正常说话并完成任务的模型，也不能像《星际迷航》电影中的计算机那样进行推理并产生连贯的反应。我们仍处于人工智能的早期阶段。使用特定策略成功解决某些问题并不能保证我们可以以类似的方式解决所有问题。不意识到这一点是愚蠢的，尤其是当一些故障模式（不可靠、奇怪的错误、组合失败和不理解）自Fodor和Pinker在1988年指出以来没有改变时。结论很高兴看到Scaling-über-Alles尚未完全达成共识，即使在DeepMind也是如此：我完全同意MurrayShanahan的观点：“我在Gato中看到很少有人建议仅通过缩放就可以使我们达到人类水平的泛化”。让我们鼓励一个思想足够开放的领域，这样人们就可以在多个方向上发展他们的工作，而不会过早地放弃碰巧没有得到充分发展的想法。毕竟，通往（通用）人工智能的最佳路径可能不是AltIntelligence路径。如前所述，我很乐意将Gato视为一种“另类智能”——一种构建智能替代品的有趣探索，但我们需要正确看待它：它不像大脑那样工作，它不不像孩子那样学习，它不懂语言，不符合人类价值观，也不能被信任完成关键任务。它可能比我们现在拥有的任何其他东西都要好，但它仍然没有真正发挥作用，即使在对它进行了大量投资之后，我们也该停下来了。它应该把我们带回到AI初创公司的时代。人工智能当然不应该是人类智能的盲目复制，毕竟它有自己的缺陷，背负着记忆力差和认知偏差。但它应该从人类和动物的认知中获取线索。莱特兄弟没有模仿鸟类，但他们学会了一些飞行控制。知道什么可以借鉴，什么不能借鉴，我们可能就成功了一大半。我认为底线是AI曾经重视但不再追求的东西：如果我们要构建AGI，我们将需要向人类学习一些东西——他们如何推理和理解物理世界，以及他们如何表达和习得语言和知识。复杂的概念。否认这个想法是冒昧的。
