今年5月，DeepMind发布了多模态人工智能系统Gato，仅需一组模型参数即可同时执行600多种不同的任务，引发了对通用人工智能的热议（AGI）在业界。DeepMind研究总监NandodeFreitas当时也在推特上表示，只要规模不断提升，AI就可以过关！我们要做的就是把模型做的更大、更安全、计算更高效、采样更快、存储更智能、更模态化、数据创新、在线/离线等，只要解决规模问题，可以达到AGI。这些问题需要行业更加重视！近日，知名AI学者、Robust.AI创始人兼CEO、纽约大学名誉教授GaryMarcus再次发表博文，认为这种说法“为时过早”，危机已经开始！Marcus持续关注AI行业的发展，但他对AI的炒作持批评态度。他曾表达过“深度学习撞墙”、“GPT-3完全没有意义”等反对意见。大模型玩不了怎么办？Nando认为，人工智能不需要范式转变，只需要更多的数据、更高的效率和更大的服务器。Marcus将这一假设解释为：如果没有根本性的新创新，AGI可能会从更大规模的模型中脱颖而出。这个假设也可以称为“scaling-über-alles”。他的假设，现在通常被称为scalingmaximalism，仍然很受欢迎，很大程度上是因为越来越大的模型确实非常强大，图像生成等任务需要大型模型的帮助。但仅限于此。问题在于，一些经过数月和数年不断改进的技术实际上远未达到我们需要的规模。庞氏骗局越来越多，规模带来的性能优势只是经验观察的结果，不能保证正确。Marcus分享了三个最近发现的前兆，它们可能预示着最大尺度假说的终结。1.世界上可能没有足够的数据量来支持最大规模。很多人已经为此担心了。来自纽约大学和苏黎世联邦理工学院的研究人员WilliamMerrill、AlexWarstadt和TalLinzen最近提出了一个证明，即“当前的神经语言模型不太适合在没有大量数据的情况下提取自然语言的语义”。论文链接：https://arxiv.org/pdf/2209.12407.pdf虽然这个证明包含了太多的预设，不能被认为是反驳证据，但如果假设接近正确，那么在天平线上很快就会出现真正的麻烦。2.世界上可能没有足够的可用计算资源来支持最大规模。米格尔·索拉诺(MiguelSolano)最近向马库斯(Marcus)发送了一份合着的手稿，其中作者认为，要达到当前的超级基准，例如BIG-bench，将需要在2022年消耗美国全部电力消耗的四分之一以上。仓库链接：https://github.com/google/BIG-benchBIG-bench是一个旨在探索大型语言模型并推断其未来能力的众包基准数据集，其中包含200多个Task。3.一些重要的任务可能根本无法扩展。最明显的例子是Ruis、Khan、Biderman、Hooker、Rockt?schl和Grefenstette最近的一项语言学任务，他们研究了语言的语用意义。例如，对于“你留下指纹了吗？”这个问题，答案可能是“我戴手套”，它的意思是“没有”。正如Marcus长期以来争论的那样，如果没有认知模型和常识，真的很难让模型意识到这一点。规模在这类任务中起的作用很小，即使是最好的模型也只有80.6%的准确率，对于大多数模型来说，规模的影响最多可以忽略不计。而且，您可以轻松想象此任务的更复杂版本，其中模型的性能会进一步下降。更让Marcus感到震惊的是，即使对于像这样的单个重要任务，~80%的性能也可能意味着这种规模的游戏无法继续玩下去。如果模型只是学习句法和语义，但在实用或常识推理方面失败，那么你可能根本无法获得值得信赖的AGI“摩尔定律并没有把我们带到最初预期的地方，所以Quick，因为它不是定律宇宙的因果关系永远成立。尺度最大化只是一个有趣的假设，它不会让我们达到一般的人工智能，例如，上述三个问题的解决将迫使我们进行范式转换网友FrankvanderVelde表示，最大规模的followers倾向于使用“大”、“更多”等模糊术语，相比人类学习语言所使用的训练数据，深度学习模型使用的训练数据太大了。但与人类语言的真实语义集合相比，这些所谓的海量数据仍然是微不足道的。每秒大约需要100亿人来生成一句话，而获得如此大规模的训练集需要300年。网友RebelScience甚至直言，最大化规模并不是一个有趣的假设，而是一个愚蠢的假设。不仅会输在AI的赛道上，还会死的很丑。规模最大化太过极端哥伦比亚大学哲学系讲师、哲学博士拉斐尔·米利埃(Rapha?lMillière)。在牛津大学，在“规模最大化”之战最激烈的时候，也发表了自己的一些看法。规模最大化曾被深度学习批评者（如GaryMarcus）视为症结所在，随着NandodeFreitas和AlexDimakis等业内人士加入争论，双方发生争执。从业者的反应大多喜忧参半，但并不过分负面，预测平台Metaculus上AGI实现的预测日期被提前到历史最低点（2028年5月），这也可能增加最大预测的可信度规模。人们对“规模”的信任度越来越高，可能是因为新机型的发布，如PaLM、DALL-E2、Flamingo和Gato的成功助长了规模化的火种。Sutton的“惨痛教训”对最大化规模的讨论提出了很多看法，尽管不完全相同，但认为将人类知识构建到AI模型（例如特征工程）中的效率低于利用数据和计算来提高学习效率。文章链接：http://www.incompleteideas.net/IncIdeas/BitterLesson.html虽然并非没有争议，但Sutton的观点显然没有最大化观点那么激进。它确实强调了规模的重要性，但它并没有将人工智能研究中的每一个问题都简化为仅仅是规模的挑战。事实上，很难确定最大化尺度的具体含义。从字面上看，“Scalingisallyouneed”表明我们可以在不进行任何算法创新或架构更改的情况下实现AGI。我们可以扩展现有模型并强制输入更多数据。这种字面解释似乎很荒谬：即使像PalM、DALL-E2、Flamingo或Gato这样的模型仍然需要对以前的方法进行架构更改。如果有人真的认为我们可以将现成的自回归Transformer扩展到AGI，那真是令人惊讶。目前尚不清楚最大化者在多大程度上认为AGI将需要算法创新，这也使得很难从这种观点产生可证伪的预测。放大可能是构建任何应该被称为“通用人工智能”的系统的必要条件，但我们不应将必要性误认为是充分条件。
