本文转载自雷锋网。如需转载，请到雷锋网官网申请授权。近日，微软研究团队通过研究语境建模得出了一种新方法，可以让AI模型通过语境的历史重写对话中的最后一句话。那么，这是一种什么样的研究方法呢？羊毛布？KYLEWIGGERS对此作了详细介绍，雷锋网不改其愿将其文章整理如下。在一篇预发表的论文中，MicrosoftResearch团队详细介绍了他们在开放域对话的无监督上下文重写方面的工作。他们声称他们的实验结果在重写质量和多轮响应生成方面达到了最先进的基准。正如研究人员所解释的那样，对话上下文提出了句子建模中没有的挑战，例如主题切换、共同引用（如他、她、它、他们）、长期依赖性。大多数系统解决这些问题的方法是在最后一段添加关键字，或者用AI模型学习数值表示，但这种方法经常遇到障碍，比如无法选择正确的关键字，无法处理更长的上下文等待。这就是MicrosoftResearch团队的方法派上用场的地方。它通过考虑上下文信息重新表述对话中的最后一句话；在这样做的过程中，它会产生一个独立的话语，既不交叉引用也不依赖于过去对话的其他话语。雷锋网注：[图片来源：微软所有者：微软]例如，如果你转换“我讨厌咖啡。--为什么？它很好吃。”变成“Whydoyouhatecoffee?It'sveryIt'sdelicious.”，借用了“it”和“why”。其中“它”指的是谈话中提到的咖啡，“为什么”是“你为什么讨厌喝咖啡”的缩写形式。对此，研究人员设计了一个机器学习系统——上下文重写网络（雷锋网出版社：contextrewritingnetwork，CRN），实现端到端的流程自动化。该系统由一个序列到序列模型组成，该模型能够将固定长度的话语映射到固定长度的重写句子。而且，它还有一个独立的注意机制，可以帮助它通过最后一句话中的不同单词从上下文中复制单词。那么这个系统是如何设计的呢？首先，微软研究院团队使用通过提取上下文关键字并将这些关键字插入到原始对话中的最终话语中生成的虚假数据来训练模型。然后，为了让最终的反应影响重写过程，他们使用强化学习来推动系统朝着目标前进。雷锋网注：【图片来源：微软所有者：微软】在一系列实验中，团队评估了他们的方法在几个重写质量、多轮响应生成、多轮响应选择和端到端检索上基于任务的应用程序。他们注意到他们的模型在强化学习后偶尔会变得不稳定，因为他们的模型倾向于从上下文中提取更多的单词，然而，这也显着提高了话语的多样性。MicrosoftResearch团队认为他们的工作是朝着更具可解释性和可控性的上下文建模迈出的一步。此外，研究团队还表示，他们的模型可以从嘈杂的语境中提取出重要的关键词，然后将这些关键词插入到最终的话语中，不仅便于控制和解释，而且有助于将信息直接传达到最终的话语中发声。
