近日，阿里云正式开源深度迁移学习框架EasyTransfer，这是业界首个针对NLP场景的深度迁移学习框架。
开源链接：由PAI团队开发，让自然语言处理场景下的模型预训练和迁移学习开发部署更加简单高效。
自然语言处理场景的深度迁移学习在现实场景中有着巨大的需求，因为大量新领域不断涌现。
传统的机器学习需要为每个领域积累大量的训练数据，这会消耗大量的人力和标注。
物质资源。
深度迁移学习技术可以将源领域学到的知识迁移到新领域的任务中，从而大大减少标注资源的数量。
虽然自然语言场景对深度迁移学习有很多需求，但开源社区目前还没有完整的框架，构建易用且高性能的框架存在巨大挑战。
首先，预训练模型加知识迁移是现在主流的NLP应用模型。
通常，预训练模型的规模越大，学习到的知识表示越有效。
然而超大型的模型给框架的分布式架构带来了巨大的挑战。
如何提供高性能的分布式架构来有效支持超大规模模型训练。
其次，用户应用场景多样性非常高，单一的迁移学习算法无法应用。
如何提供完整的迁移学习工具来提升下游场景的效果。
第三，从算法开发到业务落地通常有很长的环节。
如何提供简单易用的从模型训练到部署的一站式服务。
面对这三大挑战，PAI团队推出了EasyTransfer，一个易于使用且高性能的迁移学习框架。
该框架支持主流迁移学习算法，支持自动混合精度、编译优化和高效分布式数据/模型并行策略，适合工业级分布式应用场景。
值得一提的是，通过混合精度、编译优化和分布式策略，EasyTransfer支持的ALBERT模型在分布式训练方面比社区版ALBERT快4倍以上。
同时经过阿里巴巴内部10多个BU、20多个业务场景的打磨，为NLP和迁移学习用户提供了多种便利，包括业界领先的高性能预训练工具链和预训练工具链。
-训练ModelZoo，以及丰富易用的AppZoo、高效的迁移学习算法，并全面兼容阿里巴巴PAI生态产品，为用户提供从模型训练到部署的一站式服务。
阿里云机器学习PAI团队负责人林伟表示：通过开源EasyTransfer代码，我们希望将阿里巴巴的能力赋能给更多用户，降低NLP预训练和知识转移的门槛，也能与更多合作伙伴合作深入。
创建一个简单、易于使用、高性能的 NLP 和迁移学习工具。
EasyTransfer工具框架概述 EasyTransfer的整体框架如下图所示。
它旨在尽可能简化深度迁移学习的算法开发。
该框架抽象了常用的 IO、层、损失、优化器和模型。
用户可以基于这些接口开发模型，也可以直接访问预训练的模型库ModelZoo进行快速建模。
该框架支持五种迁移学习 (TL) 范式、模型微调、基于特征的 TL、基于实例的 TL、基于模型的 TL 和元学习。
同时框架集成AppZoo支持主流NLP应用，方便用户构建常用的NLP算法应用。
最后，该框架与PAI生态中的产品无缝兼容，为用户提供从培训到部署的一站式体验。
业界领先的高性能预训练工具链和预训练ModelZooEasyTransfer框架支持工业级分布式应用场景，完善分布式优化器，配合自动混合精度、编译优化、高效的分布式数据/模型并行策略，实现计算速度比社区版的多机多卡分布式训练快4倍以上。
基于这个高性能的分布式基础，框架推出了完整的预训练工具链，方便用户预训练BERT、ALBERT等语言模型。
值得一提的是，基于该预训练工具制作的模型在多个公开榜单上都取得了不错的成绩。
例如，QuAC在多轮对话排行榜上排名第一（2020年10月），在中文CLUE排行榜上排名第一。
在英文 SuperGLUE 排行榜上排名第一（2018 年 12 月）和第二。
同时，EasyTransfer 集成了支持 BERT、ALBERT、XLNet 等主流模型的预训练模型 ModelZoo、Continual Pretrain 和 Finetune。
它还集成了在PAI平台上训练的高质量预训练模型和自主开发的电商场景多模态模型FashionBERT。
。
丰富易用的AppZoo&知识蒸馏EasyTransfer封装了高度易用、灵活且学习成本低的AppZoo，让用户可以在“大型”平台上运行“前沿”的开源和自研算法。
只需几行命令即可快速接入不同场景下的NLP应用和业务数据，包括文本向量化、匹配、分类、阅读理解、序列标注等，还集成了丰富的知识蒸馏算法，允许用户从参数大、推理速度慢的大模型中提炼出参数少、推理性能高的小模型，可以在线启动。
例如，EasyTransfer 集成了任务自适应蒸馏模型 AdaBERT。
它从神经架构搜索（NAS）的新角度出发，搜索最适合目标任务的小模型架构。
在6个经典NLP任务上，它将BERT模型压缩到原来的1/17~1/10，推理加速达到原来的12~29倍。
同时，该模型的相应论文已被人工智能顶级会议IJCAI接收。
高效的迁移学习算法EasyTransfer框架支持所有主流迁移学习范式，包括Model Fine-tuning、Feature-based TL、Instance-based TL、Model-based TL和Meta Learning。
基于这些迁移学习范式开发了10余种算法，在阿里巴巴的业务实践中取得了良好的效果。
所有后续算法都将开源到 EasyTransfer 代码库中。
在具体应用中，用户可以根据下图选择一种迁移学习范式来测试效果。
EasyTransfer框架集成了自主开发的适应多任务的元学习算法。
它集成了基于元学习的多任务学习算法，允许用户在训练特定任务的模型时使用其他任务的数据集进行学习增强。
EasyTransfer 集成了自主研发的 Meta Fine-tuning 算法，借鉴了元学习的思想，旨在学习预训练语言模型的跨领域 Meta-leaner，使得学习到的 Meta-leaner 能够快速迁移到特定领域。
关于任务。
该算法的相应论文已被NLP顶级会议EMNLP接收。
由于上述模型仍然存在参数过多、推理速度慢的问题，EasyTransfer团队进一步自行开发了元知识蒸馏算法，并在蒸馏阶段额外选择性地蒸馏了Meta-leaner，使得小蒸馏得到的模型可用于相应领域。
效果明显提升，接近原模型的效果。
相关代码和论文将于近期发布。
全面兼容阿里巴巴PAI生态产品。
EasyTransfer框架与PAI-Tensorflow完全兼容。
用户通过简单的代码或配置文件修改，即可使用PAI自主研发的高效分布式训练、编译优化等功能。
同时，该框架与PAI生态系统产品完美兼容。
，可直接在PAI Web组件（PAI Studio）、开发平台（PAI DSW）、云原生训练平台（PAI DLC）、PAI Serving平台（PAI EAS）上使用。
应用实现及创新算法解决方案EasyTransfer框架已在阿里巴巴集团内数十个NLP场景落地，包括智能客服、搜索推荐、安全风控、大型娱乐等，带来业务成果的显着提升。
目前，EasyTransfer日均服务调用量数亿次，月均培训调用量超过5万次。
EasyTransfer团队在开展业务的同时，也积累了许多创新的算法解决方案，包括元学习、多模态预训练、强化迁移学习、特征迁移学习等方面的工作，并联合发表了数十篇顶级论文会议文章。
，下面列出一些代表性作品。
其中部分算法已经开源，其他部分将在EasyTransfer框架中逐步开源供用户使用。
[EMNLP]。
用于多域文本挖掘的元微调神经语言模型。
.[SIGIR] FashionBERT：具有自适应损失的时尚领域文本和图像匹配。
.[IJCAI] AdaBERT：具有可微神经架构搜索的任务自适应 BERT 压缩。
.[KDD]。
基于实例的选择性迁移学习的最小最大游戏。
.[CIKM]。
用于电子商务搜索的具有 Wasserstein 正则化器的跨域注意网络，.[WWW]。
用于评论有用性预测的多域门控 CNN，.[WSDM]。
学习选择性迁移：深度文本匹配的强化迁移学习。
.[WSDM]。
电子商务中基于检索的问答系统的迁移学习领域关系建模。
.[ACL]。
电子商务信息搜索对话中上下文感知问题匹配的迁移学习。
.[ICDM]。
使用多任务卷积神经网络的短期降雨预测模型。
最后，EasyTransfer工具是中国CLUE社区官方推荐的工具包。
同时，阿里云天池平台将联合CLUE社区打造多任务语义理解竞赛。
EasyTransfer 是默认的开发工具。
用户可以基于EasyTransfer轻松构建多任务基线。
并进行建模和优化，敬请期待。