作为全球学术界最权威的机器翻译大赛,近期,WMT国际机器翻译大赛已停止提交成绩和发布排名。
其中,腾讯微信AI团队在“汉英”翻译任务中拿下冠军。
提交结果BLEU获得第一,微信AI获得中英翻译方向冠军WMT是机器翻译领域国际顶级评测比赛之一。
自2015年创办以来,WMT已成功举办15届。
该大赛每年都会吸引来自世界各地的企业、科研机构和大学的众多顶尖团队参赛,其中包括微软、Facebook、百度、金山、日本信息通信研究所(NICT)等。
赛制方面,组委会将根据汉英、英汉、汉日等不同翻译任务提供测试集。
参赛者将在线提交机器翻译结果。
组委会将根据国际上广泛认可的BLEU自动评价指标对结果进行评价。
参赛者提交的机器翻译和标准答案将进行拟合计算,拟合程度最高的排名第一。
其中,“汉英”翻译任务是历年比赛中竞争最激烈的领域,也是最大的亮点之一。
历届冠军中,微软、腾讯翻译、搜狗均曾上榜。
比赛非常激烈,每位参赛者提交数据的次数都差不多。
最终,微信AI团队经过多轮角逐脱颖而出,成功占据自动评价指标榜首,夺得冠军。
值得一提的是,BLEU的前两名机器翻译均由微信AI团队提交。
同时,今年微信AI仅使用官方提供的数据(即受限资源),超越了所有使用受限资源和无限资源的系统。
两种架构、三种训练方式,微信AI领先的翻译技术在国际上取得了不俗的成绩和认可,这与微信AI团队在人工智能领域的不断深耕和产品体验的不断打磨密不可分。
自成立以来,基于业界最前沿的神经网络机器翻译技术,微信AI团队不断迭代,引入最前沿的机器翻译算法,不断创新算法和架构,提升翻译能力。
本次比赛,微信翻译在技术上基于更深更广的Transformer结构(包括Self-attention和Average-attention)和自主研发的Deep Transition结构(DTMT),并通过整合领域知识的数据进行增强。
该方法迭代生成高质量的伪数据,使用 Self-Bleu 的组合剪枝策略集成模型,并使用集成模型的知识来提炼单个模型。
除了常规的交叉熵训练之外,还使用了三种改进的训练方法来缓解偏差问题。
,包括改进的Scheduled Sampling训练方法、针对目标输入的抗噪声训练以及更稳定的贝叶斯风险最小化训练。
目前,微信翻译已成为日翻译数十亿字符的大型多语言机器翻译引擎。
支持多语言双向翻译,翻译质量达到业界领先水平。
服务场景已涵盖微信对话翻译、朋友圈翻译、微信扫一扫等,同时还为腾讯微、微信对话开放平台、微信阅读、QQ邮箱等提供翻译服务支持,并将应用于更多场景未来。
。
基础研究和技术开源,微信持续深耕人工智能。
除了在智能翻译领域取得优异成绩外,微信AI团队在其他领域也取得了不少成果。
不仅在DSTC冠军排名第一,还获得了RACE中考题库第一名、DROP数学推理单第一名、QuAC多轮互动推理单第一名,凸显了微信AI团队的对话和推理能力。
技术实力。
在自然语言处理领域顶级会议ACL上,中科院计算所与微信AI合作的文章《Bridging the Gap Between Training and Inference for Neural Machine Translation》荣获最佳长论文奖。
这也是中国大陆地区首篇获此殊荣的文章。
随后,在ACL中,微信AI团队也有7篇论文入选,涵盖了机器翻译、信息抽取、对话系统等领域的研究成果。
近两年,微信AI团队已有16篇论文入选ACL。
基于深度学习开发的微信智灵语音识别技术每天处理超过4亿条语音,语音识别准确率高达97%,为微信语音输入、语音转文字、王者荣耀、QQ音乐等提供技术支持和其他产品。
微信智言主打智能对话和NLP,以腾讯小微开放能力为核心,为家居硬件、PaaS、行业云、AI Bot等领域提供技术支撑,让人与机器以最自然的方式交互和便捷的方式。
沟通方式。
在技??术开源方面,微信AI开发了自己的Transformer推理引擎并开源。
这也是腾讯的第一个开源项目。
该推理引擎可以在CPU/GPU硬件平台上实现最佳性能。
比pytorch/tensorflow以及目前主流的Transformers加速方案速度更快,更适合NLP任务的特点。
它不需要图级预处理并支持可变长度输入。
顺序输入。
TurboTransfromers已在腾讯内部游戏、内容生态、广告、金融等领域得到广泛应用和认可。
未来,微信AI将持续加大在人工智能领域的学习和投入,积极将技术升级应用到产品中,并创新和融合新的能力,基于微信平台带来更广泛的应用场景和更智能的产品体验生态系统,为12亿微信用户提供更好的智能服务。