如今，计算机技术已经深入到人们生活的方方面面，要说它对我们的工作和学习有很大的帮助，机器翻译必须榜上有名。近年来，随着计算机技术的不断进步和人工智能系统的日益成熟，一直以来被人们质疑的机器翻译质量也得到了显着提升。其中，神经机器翻译技术的贡献与创新也是一大研究热点。近日，清华大学计算机系与智能产业研究院机器翻译研究团队发表了一篇关于神经机器翻译技术的新综述论文。总结了对研究人员有用的相关方法、资源和工具。最后，还讨论了该领域未来可能的研究方向。清华大学计算机系教授、欧洲科学院外籍院士孙茂松和清华智能产业研究院副院长、国家杰青刘洋是《科学》的两位老师作者。纸。这篇论文发表在AIOPEN上，标题是《Neural machine translation: A review of methods, resources, and tools》，这是一本专注于AI的新开放获取期刊。1神经机器翻译技术的发展历程在70年的发展历程中，机器翻译经历了从兴起到巅峰，从低迷到开拓新的研究思路的各种变化。早在1949年，美国科学家沃伦韦弗就首先提出了“用计算机进行翻译”的思想，他也被公认为机器翻译的先驱之一。1952年，以色列著名哲学家、语言学家和数学家YehoshuaBar-Hillel组织了第一次机器翻译会议。此后，由于难以满足机器翻译的质量要求，其发展缓慢长达30年之久。直到1990年，大量的双语和多语语料库为机器翻译注入了新鲜血液，统计机器翻译（SMT）应运而生。在此期间，IBM的研究人员也发表论文，详细讨论了基于词典和转换规则的机器翻译方法以及基于平行语料库的实例机器翻译方法。近年来，基于深度学习的神经机器翻译（NMT）发展迅速。深度学习由图灵奖获得者GeoffreyHinton等人于2006年提出，是一种深度非线性数据处理技术。与传统的浅层线性处理相比，它在处理模型分析和分类问题时更加准确。更高的性能。NMT与以往的机器翻译方法完全不同。一方面，NMT使用SMT中的连续表示，而不是离散的符号表示；另一方面，NMT使用单个大型神经网络对整个翻译过程进行建模，无需过多的特征工程。此外，NMT的训练是端到端的，不像SMT需要单独调整组件。除了简单之外，NMT还适应多种语言之间的翻译，实现了最先进的性能。2如何解决三大关键问题？在综述中，论文作者首先阐述了NMT系统的三个关键问题：建模，即如何设计神经网络对条件分布进行建模？推理，即给定源输入，如何从NMT模型生成翻译后的句子？学习，即如何有效地从数据中学习到NMT需要的参数？在建模方面，NMT通常采用encoder-decoder框架，由embedding层embedding、分类层classifier、encoder网络encoder和decoder网络decoder组成。图|NMT架构示意图，不同的颜色代表不同的语言因此，构建强大的encoder和decoder对NMT的性能至关重要，其方法大致可以分为三类：基于递归神经网络（RNN），基于卷积神经网络基于神经网络(CNN)和自注意力网络(SAN)的方法。文章不仅详细解释了三种方法的机理，还比较了它们的优缺点，并提出了相应的解决方案。比如RNN容易出现梯度消失/爆炸问题，CNN接收域有限难以扩展，SAN容易忽略词在序列中的顺序。图|RNN、CNN和SAN分别是如何编码序列的在推理方面，NMT通常使用局部搜索算法，如贪婪搜索或集束搜索来寻找最佳翻译。此外，NMT通常使用最大对数似然(MLE)作为训练目标函数，这是估计概率分布参数的常用方法。图|BeamSearchAlgorithm除了NMT的计算机原理和构造机制，论文还回顾了不同的NMT研究方法和应用，例如关于使用单语数据和无监督NMT的研究，以及关于提高NMT可解释性和鲁棒性的研究。最后，论文还总结了目前流行的开源NMT工具，这些工具都可以在GitHub上直接获取。3未来可能的研究方向尽管NMT取得了巨大的成功，但仍有许多问题需要探索，因此，本文列出了NMT的一些重要且具有挑战性的问题。首先，加深对NMT的理解。尽管已经有很多分析和解释NMT的尝试，但显然NMT领域还有很多“未解锁”。未来，为了看清NMT技术的瓶颈和弱点，了解NMT是如何产生其翻译结果就显得尤为重要。第二，设计更好的NMT模型。目前常见的是Transformer架构。设计一种优于它并能平衡翻译性能和计算复杂度的新架构对于NMT研究和生产具有重要意义。第三，充分利用单语数据。尽管当今单语数据取得了显着进步，但NMT在利用丰富的单语数据方面仍有巨大优势。第四，整合之前的知识。除了自然语言，将其他人类知识融入NMT也是一个重要问题。如何实现离散表示和连续表示之间的相互转换一直是NMT面临的问题，仍需进一步探索。参考资料：https://www.sciencedirect.com/science/article/pii/S2666651020300024https://www.sciencedirect.com/journal/ai-open
