业界首个面向NLP场景的深度迁移学习框架

开源近日，阿里云正式开源深度迁移学习框架EasyTransfer，这是业界首个面向NLP场景的深度迁移学习框架。开源链接：https://github.com/alibaba/EasyTransfer该框架由阿里云机器学习PAI团队开发，使得自然语言处理场景的模型预训练和迁移学习开发部署更加简单高效.面向自然语言处理场景的深度迁移学习在现实场景中有着巨大的需求，因为大量的新领域不断涌现。传统的机器学习需要为每个领域积累大量的训练数据，这会耗费大量的人力和劳力进行标注。物理资源。深度迁移学习技术可以将源域中学到的知识迁移到新域的任务中，从而大大减少标注资源。尽管自然语言场景下深度迁移学习的需求很多，但目前开源社区还没有完整的框架，构建一个易用且高性能的框架是一个巨大的挑战。首先，预训练模型加知识迁移是现在主流的NLP应用模式。通常，预训练模型的规模越大，学习到的知识表示越有效。但是，超大模型给框架的分布式架构带来了极大的挑战。如何提供高性能的分布式架构，有效支撑超大规模模型训练。其次，用户应用场景的多样性非常高，无法应用单一的迁移学习算法。如何提供完整的迁移学习工具来提升下游场景的效果。第三，从算法开发到业务落地通常需要很长的环节。如何提供简单易用的从模型训练到部署的一站式服务。面对这三大挑战，PAI团队推出了易用且高性能的迁移学习框架EasyTransfer。该框架支持主流的迁移学习算法、自动混合精度、编译优化和高效的分布式数据/模型并行策略，适用于工业级分布式应用场景。值得一提的是，通过混合精度、编译优化和分布式策略，EasyTransfer支持的ALBERT模型在分布式训练运行速度上比社区版ALBERT快4倍以上。同时，经过阿里巴巴10多个BU和20多个业务场景，为NLP和迁移学习用户提供了多种便利，包括业界领先的高性能预训练工具链和预训练ModelZoo，以及丰富易用的AppZoo，高效的迁移学习算法，全面兼容阿里巴巴PAI生态产品，为用户提供从模型训练到部署的一站式服务。阿里云机器学习PAI团队负责人林伟表示：此次开源EasyTransfer代码希望能够让更多的用户拥有阿里的能力，降低NLP预训练和知识迁移的门槛，同时也与更多的合作伙伴深度合作打造一个简单易用的高性能NLP和迁移学习工具。EasyTransfer工具框架概览EasyTransfer的整体框架如下图所示。该设计尽可能简化了深度迁移学习的算法开发难度。该框架抽象了常用的IO、层、损失、优化器和模型。用户可以基于这些接口开发模型，也可以直接访问预训练好的模型库ModelZoo进行快速建模。该框架支持五种迁移学习(TL)范式、模型微调、基于特征的TL、基于实例的TL、基于模型的TL和元学习。同时，该框架集成了AppZoo，支持主流的NLP应用，方便用户构建常用的NLP算法应用。最后，该框架与PAI生态中的产品无缝兼容，为用户带来从训练到部署的一站式体验。业界领先的高性能预训练工具链和预训练ModelZooEasyTransfer框架，支持工业级分布式应用场景，完善分布式优化器，配合自动混合精度、编译优化、高效的分布式数据/模型并行策略，do在计算速度上比社区版的多机多卡分布式训练快4倍以上。基于这个高性能的分布式基础，框架推出了完整的预训练工具链，方便用户预训练BERT、ALBERT等语言模型。值得一提的是，基于该预训练工具的模型在多个公开榜单上均取得了不错的成绩，如QuAC多轮对话榜单第一名（2019年10月）、中文CLUE榜单等。排名第一（2019年12月），英文SuperGLUE榜单排名第二。同时，EasyTransfer集成了预训练模型ModelZoo，支持BERT、ALBERT、XLNet等主流模型的ContinualPretrain和Finetune，也集成了PAI平台上训练好的优质预训练模型和自-开发电商场景多模态模型FashionBERT。丰富易用的AppZoo&知识蒸馏EasyTransfer封装了高度易用、灵活、低学习成本的AppZoo，让用户在“大”平台上运行“前沿”的开源自研算法scale”仅需几行命令，即可快速接入不同场景和业务数据下的NLP应用，包括文本向量化、匹配、分类、阅读理解、序列标注等。它还集成了丰富的知识蒸馏算法，使用户能够从参数大、推理速度慢的大型模型中提取到参数少、推理性能高的小型在线模型。例如，EasyTransfer集成了任务自适应蒸馏模型AdaBERT。从神经架构搜索（NAS）的新视角出发，搜索最适合目标任务的小模型架构。在六个经典的NLP任务上，BERT模型被压缩到原来的1/17~1/10，推理速度达到原来的12~29倍。同时，该模型对应的论文已被顶级AI会议IJCAI2020录用。高效的迁移学习算法EasyTransfer框架支持所有主流的迁移学习范式，包括ModelFine-tuning、Feature-basedTL、Instance-basedTL，基于模型的TL和元学习。基于这些迁移学习范式，发展了10余种算法，在阿里的商业实践中取得了不错的效果。所有后续算法都将开源到EasyTransfer代码库中。在具体应用中，用户可以根据下图选择一种迁移学习范式来测试效果。集成自研适应多任务的元学习算法EasyTransfer框架集成了基于元学习（MetaLearning）的多任务学习算法，允许用户在训练模型时使用其他任务的数据集进行学习增强一项特定的任务。EasyTransfer集成了自研的MetaFine-tuning算法，借鉴了元学习的思想，旨在学习预训练语言模型的跨域Meta-leaner，使得学习到的Meta-leaner能够被快速转移到任务上的特定领域。该算法对应的论文已被NLP顶级会议EMNLP2020录用。由于上述模型仍存在参数过多、推理速度慢的问题，EasyTransfer团队进一步开发了元知识蒸馏算法，并额外进行选择性distillation阶段在Meta-leaner上进行distillation，使得蒸馏得到的小模型在对应的field中。模型效果明显提升，接近原模型效果。相关代码和论文将在近期发布。全面兼容阿里巴巴PAI生态产品EasyTransfer框架全面兼容PAI-Tensorflow，用户通过简单的代码或修改配置文件即可使用PAI自研的高效分布式训练、编译优化等功能；同时该框架完美兼容PAI生态产品，可直接在PAIWeb组件（PAIStudio）、开发平台（PAIDSW）、云原生训练平台（PAIDLC）、PAIServing平台（派EAS）。应用及创新算法解决方案EasyTransfer框架已落地阿里集团内智能客服、搜索推荐、安全风控、娱乐等数十个NLP场景，带来了显着的业绩提升。目前EasyTransfer每日服务调用量达数亿次，月均培训调用量超过5万次。EasyTransfer团队在业务落地的同时积累了大量创新算法解决方案，包括元学习、多模态预训练、增强迁移学习、特征迁移学习等，联合发表顶级会议论文数十篇，部分代表作如下所列。其中部分算法已经开源，其他部分将开源在EasyTransfer框架中供用户使用。?[EMNLP2020]。用于多域文本挖掘的元微调神经语言模型。2020.?[SIGIR2020]FashionBERT：具有自适应损失的时尚领域的文本和图像匹配。2020.?[IJCAI2020]AdaBERT：具有可微分神经结构搜索的任务自适应BERT压缩。2020.?[KDD2019]。基于实例的选择性迁移学习的Minimax游戏。2019.?[CIKM2019].用于电子商务搜索的具有Wasserstein正则化器的跨域注意力网络，2019。?[WWW??2019]。用于评论有用性预测的多域门控CNN，2019。?[WSDM2019]。学习选择性迁移：深度文本匹配的强化迁移学习。2019.?[WSDM2018]。电子商务中基于检索的问答系统的迁移学习建模域关系。2018.?[ACL2018].电子商务信息搜索对话中上下文感知问题匹配的迁移学习。2018.&b全；[ICDM2017]。使用多任务卷积神经网络的短期降雨预测模型。2017.最后，EasyTransfer工具是中文CLUE社区官方推荐的工具包。对于语义理解的竞争，EasyTransfer是默认的开发工具。用户可以轻松构建多任务基线，并基于EasyTransfer进行建模和优化。请期待。