从2020年5月至今，GPT-3发布已近两年半，凭借其神奇的文本生成能力，已经能够辅助人类很好是时候写了。但GPT-3归根结底是一种文本生成模型，可以说是完全不同于人类的书写过程。比如我们要写一篇论文或者作文，首先需要在脑海中构建一个框架，查阅相关资料，打草稿，然后再找导师不断修改打磨文字。期间也可能会修正一??下思路，最后可能会变成一个好的。文章。生成模型得到的文本可以满足语法要求，内容编排没有逻辑，不具备自我修改能力，让AI自主写作还很遥远。最近，来自MetaAIResearch和卡内基梅隆大学的研究人员提出了一种新的文本生成模型PEER（planPlan、editEdit、explainExplain、repeatRepeat），它完全模拟了人类写作的过程，从起草到征求建议来编辑文本，然后继续迭代。论文地址：https://arxiv.org/abs/2208.11663PEER解决了传统语言模型只生成最终结果，无法控制生成文本的问题。通过输入自然语言命令，PEER可以修改生成的文本。最重要的是，研究人员训练了PEER的多个实例，可以在编写过程中填充多个链接，从而可以使用自训练技术来提高训练数据的质量、数量和多样性。能够生成训练数据，意味着PEER的潜力远不止写作那么简单。您还可以在其他领域使用PEER，而无需编辑历史记录，让它逐渐提高遵循说明、撰写有用评论和解释其行为的能力。NLP也来自仿生学。预训练自然语言的大规模神经网络后，文本生成的效果已经很强了，但是这些模型的生成方式基本都是一次从左到右输出结果文本，与人类写作的迭代过程。差异很大。一次性生成也有很多缺点。例如，无法追溯文本中的句子进行修改或改进，也无法解释文本中某句生成的原因。生成文本的正确性也很难验证，结果中经常会产生幻觉内容，即与事实不符的文字。这些缺陷还限制了模型与人类协作写作的能力，这需要连贯且真实的文本。PEER模型通过对文本的“编辑历史”进行训练，使模型能够模拟人类的书写过程。1.PEER模型运行时，用户或模型需要指定一个计划（Plan），通过自然语言描述自己想要执行的动作（action），比如添加一些信息或者修复语法错误；2.然后编辑（Edit）3.模型可以使用自然语言并指向相关资源来解释（Explain）编辑结果，比如在文末添加引用；4.重复（Repeat）这个过程，直到生成的文本不再需要进一步更新。这种迭代方法不仅允许模型将编写连贯、一致和真实文本的复杂任务分解为更简单的子任务，而且允许人类在生成过程的任何时候进行干预，引导模型朝着正确的方向前进，提供用户计划和意见，或开始并自行编辑。从方法描述可以看出，功能实现最难的不是用Transformer建模型，而是找训练数据。显然很难找到能够以训练大型语言模型所需的规模学习此过程的数据。难，因为大部分网站不提供编辑历史，所以通过爬虫获取的网页不能作为训练数据。即使爬取同一个网页不同时间的编辑历史也不可行，因为没有相关的文字规划或解释编辑。PEER类似于以前的迭代编辑方法，因为它使用维基百科作为主要编辑和相关评论的数据源，因为维基百科提供了完整的编辑历史，包括对各种主题的评论，而且规模很大，文章经常包含引用，这对于查找相关文件很有用。但是，仅仅依靠维基百科作为训练数据的唯一来源也有各种缺点：1.仅使用维基百科训练的模型需要在预期的文本内容和预测的规划和编辑方面与维基百科相似；2.Wikipedia3.Wikipedia中的许多段落没有任何引用，虽然这种背景信息的缺失可以通过使用检索系统来弥补，但即使是这样的系统也可能无法为许多编辑找到支持的背景信息。研究人员针对维基百科作为评论编辑历史的唯一来源而产生的所有问题提出了一个简单的解决方案：即训练多个PEER实例并使用这些实例来学习填充编辑过程的各个阶段。这些模型可用于生成合成数据，作为训练语料库缺失部分的替代品。最终，经过训练得到四个encoder-decoder模型：1.PEER-Edit的输入是文本x和一组文档，模型的输出是规划和编辑的文本，其中p是规划文本。2.PEER-Undo的输入是编辑后的文本和一组文档，模型的输出是是否撤销编辑。3.PEER-Explain用于生成对编辑的解释，输入是源文本、编辑文本和一组相关文档。4.PEER-Document输入源文本、编辑文本和计划，模型输出本次编辑中最有用的背景信息。PEER的所有变体都用于生成合成数据，既可以生成缺失的部分来补充训练数据，也可以替换现有数据中“低质量”的部分。为了能够在任意文本数据上进行训练，即使文本没有编辑历史，使用PEER-Undo生成合成的“向后”编辑，即重复将PEER-Undo应用于源文本，直到文本被空，然后调用PEER-UndoEdit向相反方向训练。在生成计划时，使用PEER-Explain来纠正语料库中许多低质量的评论，或者处理没有评论的文本。从PEER-Explain的输出中随机抽取多个结果作为“潜在计划”，计算实际编辑的似然概率，选择概率最大的作为新计划。如果找不到与特定编辑操作相关的文档，则使用PEER-Document生成一组复合文档，其中包含执行该编辑操作的信息。至关重要的是，PEER-Edit仅在训练期间执行此操作，并且在推理阶段不提供任何合成文档。为了提高生成的计划、编辑和文档的质量和多样性，研究人员还实现了一种控制机制，在模型被训练生成的输出序列中预先设置特定的控制标记，然后在推理过程中使用这些控制标记来指导模型的生成，标签包括：1.type用于控制PEER-Explain生成的文本类型，可选值为instruction（输出必须以不定式to...开头。）和别的;2.length，控制PEER-Explain输出长度，可选值包括s（小于2个字）、m（2-3个字）、l（4-5个字）和xl（大于等于6个字）);3、overlap，PEER-Explain生成的词是否可以与编辑后的文本重复，可选值为true和false；4、words，用于控制源文本与PEER-Undo编辑后的文本不同的单词个数，可选值全部为整数；5、contains，用于保证PEER-Document输出的文本包含某个子串PEER不向PEER-edit引入控制字符，即不假设用户可能使用该模型来解决编辑任务的类型，使模型更通用。在实验对比阶段，使用LM-AdaptedT5预训练的3B参数版本初始化PEER。为了评估PEER遵循一系列计划、利用提供的文档以及在不同领域（尤其是没有编辑历史的领域）进行编辑的能力，本文引入了一个新的数据集NaturalEdits。对文本类型和字段进行自然编辑的集合。数据来自三个英文网络资源：维基百科的百科全书页面、维基新闻的新闻文章、StackExchange子论坛关于烹饪、园艺、法律、电影、政治、旅游和工作场所的问题，所有这些网站都提供编辑历史带有详细说明编辑意图的注释，并将它们作为计划提供给模型。在Wikinews和StackExchange子集的训练中，仅提供纯文本数据，而不是实际编辑，以测试在没有编辑历史的域中的编辑能力。实验结果表明，PEER的性能在一定程度上超过了所有基线，计划和文档提供了模型可以使用的补充信息。在对NaturalEdits的所有子集评估PEER后，可以发现该计划对所有领域都有用。很大的帮助，这表明在维基百科编辑中理解规划的能力可以直接转移到其他领域。重要的是，PEER的域适应变体在NaturalEdits的所有子集上都明显优于常规PEER，在园艺、政治和电影子集上的改进尤其大（分别为84%、71%）。%和48%的EM-Diff），也显示了在不同领域应用PEER时生成合成编辑的有效性。
