语言模型近年来对自然语言处理（NLP）产生了革命性的影响。众所周知，扩展语言模型（例如参数）可以在一系列下游NLP任务上带来更好的性能和样本效率。在很多情况下，缩放对性能的影响往往可以通过缩放定律来预测，绝大多数研究人员一直在研究可预测的现象。相反，JeffDean、PercyLiang等16位研究人员合作了一篇论文《 Emergent Abilities of Large Language Models 》，他们讨论了大型模型不可预测性的现象，并将其称为大型语言模型的涌现能力。所谓涌现，就是有些现象在较小的模型中不存在，但在较大的模型中存在，他们认为模型的这种能力是涌现的。涌现作为一个概念在物理学、生物学和计算机科学等领域已经讨论了很长时间，本文首先对涌现的一般定义进行了改编，该定义改编自斯坦哈特的著作，植根于1972年诺贝尔奖获得者、物理学家菲利普安德森在一篇名为“更多不同”的文章中。本文探讨了模型大小的出现，这是通过训练计算和模型参数来衡量的。具体来说，论文将大型语言模型的涌现能力定义为小型模型中不存在但大型模型中存在的能力；因此，不能通过简单地从小规模模型推断性能改进来预测大模型。本研究调查了在一系列先前工作中观察到的模型涌现能力，并对它们进行了分类：诸如少镜头提示和增强提示之类的设置。该模型的这种涌现能力激发了未来研究为什么会获得这些能力以及更大的规模是否获得更多涌现能力，并强调了这项研究的重要性。论文地址：https://arxiv.org/pdf/2206.07682.pdfSmallSamplePromptTask本文首先讨论了提示范式中的emergentcapabilities。例如，在GPT-3提示中，给定预训练的语言模型任务提示，模型无需进一步训练或对参数进行梯度更新即可完成响应。此外，布朗等人。提出少样本提示，他们在模型上下文（输入）中引入一些输入输出示例，然后要求模型执行看不见的推理任务。图1显示了一个示例提示。当模型具有随机性能并具有一定规模时，可以用小样本提示执行任务，这时就会出现涌现能力，此时模型性能远高于随机性能。下图显示了5个语言模型家族（LaMDA、GPT-3、Gopher、Chinchilla和PaLM）的8个涌现能力。BIG-Bench：图2A-D描绘了来自BIG-Bench的四个紧急小样本提示任务，BIG-Bench是一套包含200多个语言模型评估基准的套件。图2A显示了一个算术基准，测试3位数字的加法和减法，以及2位数字的乘法。表1显示了BIG-Bench的更多新兴功能。EnhancedHintingStrategies到目前为止，虽然少镜头提示是与大型语言模型交互的最常见方式，但最近的工作提出了其他几种提示和微调策略，以进一步增强语言模型的能力。如果一种技术在应用于足够大的模型之前没有显示出改进或有害，则本文还将其视为一种紧急能力。多步推理：推理任务，尤其是涉及多步推理的任务，一直是语言模型和NLP模型的一大挑战。最近的一种称为思维链的提示策略使语言模型能够通过引导它们在给出最终答案之前生成一系列中间步骤来解决此类问题。如图3A所示，当扩展到1023个训练FLOP（~100B参数）时，思维链线索仅优于没有中间步骤的标准线索。Instruction(Instructionfollowing)：如图3B所示，Wei等人。发现当训练FLOP为7·10^21（8B参数）或更少时，instruction-finetuning技术会损害模型性能。FLOP可扩展到10^23（~100B参数）以提高性能。程序执行：如图3C所示，在8位加法的域内评估中，使用暂存器仅有助于训练FLOPs（40M参数）~910^19或更大的模型。图3D显示这些模型还泛化到域外9位加法，这发生在～1.310^20trainingFLOPs（100M参数）中。本文讨论了语言模型的新兴力量，到目前为止，有意义的表现仅在某些计算规模下观察到。模型的这种涌现能力可以跨越各种语言模型、任务类型和实验场景。这种出现意味着额外的缩放可以进一步扩展语言模型的功能范围。这种能力是最近发现的语言模型扩展的结果，它们是如何产生的，以及更多的扩展是否会导致更多的新兴能力，可能是NLP领域未来重要的研究方向。有关更多详细信息，请参阅原始论文。
