《面向神经机器翻译的篇章级单语修正模型》[1]是EMNLP2019中关于文章级神经机器翻译的工作。本文针对文章级双语数据的稀缺性，探索如何利用文章级单语数据来提升最终性能，提出基于目标端单语数据的文章级校正模型（DocRepair）来校正传统句子.水平翻译结果。一、背景近年来，神经机器翻译发展迅速。Google在2017年提出的Transformer模型[2]大大提高了翻译质量，在某些领域已经达到了与人类媲美的水平[3]。然而，当今大多数机器翻译系统仍然基于句子级别，无法利用文本级别的上下文信息。如何在机器翻译过程中有效利用文本级信息是当前的研究热点之一。随着基于self-attention机制的Transformer模型在机器翻译任务中的广泛应用，之前很多基于递归神经网络（RNN）机器翻译模型的章节级方法不再适用。最近，许多研究人员试图通过在编码或解码阶段引入上下文信息来改进Transformer。Voita等人。[4]首先提出了一种基于Transformer模型的文本级翻译模型（图1）。除了传统的模型外，还增加了一个上下文编码器（contextencoder），对上下文信息进行编码，然后与当前句子的编码结果进行融合，发送给解码器。张家城等。[5]采用了另一种方法，在编码器和解码器中加入一个上下文注意（contextattention）子层（图2）来引入上下文信息。也有一些研究者尝试使用two-pass模型[6][7]，先进行句子级解码，然后使用文本级解码器将句子级解码结果和源语言上下文编码结合起来对文本进行编码级解码。此外，一些工作探索了在文本级翻译中需要引入哪些上下文信息。上述工作在机器翻译过程中引入了上下文信息，将文本级翻译视为一个整体过程。这种建模方式比较自然，但是需要足够的文本级别的双语数据进行训练。然而，实践中很难获得章节级别的双语数据。作者针对章节级别双语数据的稀缺性，提出了DocRepair模型。2.DocRepair模型类似于两阶段方法。DocRepair模型也是对句子级别的结果进行修正，但不同的是DocRepair模型只需要使用单语种数据。作为单语序列到序列模型（seq2seq）模型，DocRepair模型需要将上下文不一致的句子组映射到一致的结果，以解决上下文不一致的问题。流程如图2所示，模型的训练语料来自于容易获取的文本级单语语料。将单语数据中上下文一致的句群作为模型输出，而通过往返构建的上下文不一致句群作为模型输入。往返分为两个阶段，需要正向和反向翻译系统。首先使用逆向翻译模型将目标语侧的文本级单语数据翻译到源语侧，得到丢失句间上下文信息的源语结果，再使用正向翻译模型翻译源语语言结果返回到目标端，并得到图3显示了最终需要的具有不一致上下文的目标端数据的整体流程。DocRepair模型采用标准的Transformer结构（图4）。模型的输入是一个没有上下文信息的句子序列，通过分隔符连接成一个长序列。模型的输出是经过校正的上下文一致序列，分隔符被移除。得到最终结果。作者提出的结构可以看作是一个自动的译后编辑系统，它独立于翻译模型。最大的优点是只用目标端的单语数据就可以构建训练集。相应地，这种方法引入了额外的结构，增加了整个系统的复杂性，并使训练和推理更加昂贵。同时，由于目标侧只是根据翻译结果进行修正，根本没有引入源语言侧信息，因此DocRepair模型可能没有充分考虑上下文信息。之前的一些工作也证实了源语言上下文信息在文本级机器翻译中的作用。如何利用源语言单语数据更好地提取上下文信息也是未来值得研究的方向。3.实验为了验证方法的有效性，作者从BLEU、章节级专用测试集和人工评价三个角度进行了对比实验。实验在英俄任务上进行，数据集使用开放数据集OpenSubtitles2018。表1是DcoRepair的对比实验结果。其中，baseline使用Transformer基础模型，CADec[7]是一个两阶段的文本级翻译模型。同时，为了验证DocRepair模型在章节级翻译中的有效性，不仅仅是因为句子的后期编辑提高了翻译质量，还训练了一个句子级的修复模型。可以看出DocRepair在章节级机器翻译上是有效的，比句子级修复模型高0.5BLEU，相比baseline和CADec有0.7BLEU的提升。人工评估使用来自通用测试集的700个示例，不包括DocrePair模型完全复制输入的情况。如表2所示，52%的样本被人工标记为具有相同质量，其余73%的样本被认为在DocrePair输出中更有优势，这也印证了模型的有效性。为了分析DocRepair针对文本级翻译中特定问题的有效性，作者在专门针对英俄文本级翻译现象构建的数据集[9]上进行了验证，结果如表3所示。deixis表示句子之间的指称问题，lex.c表示实体翻译在文本中的一致性，ell.infl和ell.VP分别对应源语言包含但目标语言不包含的名词形式和动词遗漏现象.在指称、词汇选择和名词形式遗漏问题上，DocRepair优势明显，而在动词遗漏问题上，DocRepair模型比CADec低5个百分点。可能的原因是DocRepair模型只依赖于目标端的单语，round-trip方法构建的训练集很少有缺失动词的样本，导致模型很难做出正确的预测。为了验证单语数据的局限性，作者在DocRepair模型上进行了不同数据构建方式的对比实验，结果如表4所示。one-way表示将round-trip替换为的第一个逆过程双语数据中的源语言。可以看出，单程法普遍高于往返法，往返法最难的问题是动词省略。4.总结这项工作提出了一个完全基于目标端单语的DocRepair模型，用于纠正机器翻译结果和解决章节级别的不一致。同时，分析了DcoRepair在特定文本级问题上的表现，指出了仅依赖单语数据和往返构建方法的局限性。大多数以前的工作都集中在如何在解码过程中融合上下文信息，但性能往往受到章节级双语数据稀缺性的限制。这项工作为我们避免双语数据稀缺性提供了一个新的思路，但同时也提出了一个新的问题。章节级翻译的目标是解决传统句子级翻译中句子之间丢失上下文信息的问题。在这种后期编辑方法中，只有一组在目标方没有上下文一致性的翻译结果，才能通过单语修正模型获得一致的结果，缺乏对源语言的关注。笔者认为，在双语稀缺的情况下，如何更好地引入源语言上下文信息也是一个有趣的问题。参考文献[1]Voita、Elena、RicoSennrich和IvanTitov。“用于神经机器翻译的上下文感知单语修复。”arXiv预印本arXiv:1909.01383(2019)。[2]瓦斯瓦尼、阿希什等。“注意力就是你所需要的。”神经信息处理系统的进展。2017.[3]哈桑、哈尼等。“在自动中英新闻翻译中实现人类对等。”arXiv预印本arXiv:1803.05567(2018)。[4]Voita,E.、Serdyukov,P.、Sennrich,R.和Titov,I.（2018年）。上下文感知神经机器翻译学习回指解析.arXiv预印本arXiv:1805.10163.[5]Zhang,J.,Luan,H.,Sun,M.,Zhai,F.,Xu,J.,Zhang,M.,&Liu,Y.(2018)。使用文档级上下文改进转换器翻译模型.arXiv预印本arXiv:1810.03581.[6]熊浩、何志、吴浩和王浩（2019年7月）。话语神经机器翻译的连贯性建模。关于Artifi的AAAI会议记录cialIntelligence(Vol.33,pp.7338-7345).[7]Voita,E.、Sennrich,R.和Titov,I.（2019年）。当一个好的翻译在上下文中是错误的：上下文感知机器翻译改进指示符、省略号和词汇衔接.arXiv预印本arXiv:1905.05979。
