在深度学习领域，有一个词越来越受关注：迁移学习。与性能良好的监督学习相比，它可以减少很多枯燥的标注过程。简单来说，就是在用大数据集训练的预训练模型上迁移小数据集，以获得新数据更好的结果。识别效果由于可以大大节省新模型开发的成本，在实际应用中得到了更广泛的关注。在最新上线的EasyDL专业版中，引入了百度超大规模视觉预训练模型，结合迁移学习工具，帮助开发者利用少量数据快速定制高精度AI模型。在训练深度学习模型时，通常需要大量的数据，而数据收集、标注等数据准备过程会消耗大量的人力、财力和时间。为了解决这个问题，我们可以使用预训练模型。以预训练模型A为起点，在此基础上重新调优，利用预训练模型及其学习到的知识来提高其执行另一个任务B的能力，简单来说就是在a上训练的预训练大数据集在模型上迁移小数据集以获得对新数据更好的识别效果就是迁移学习。作为一种机器学习方法，迁移学习被广泛应用于各种深度学习任务中。在实现迁移学习时，深度网络迁移的方法有很多，其中Fine-tune（微调）是最简单的深度网络迁移方法，主要是将训练好的模型参数迁移到新模型中。帮助进行新模型训练。对于一个具体的模型开发任务，我们通常会选择一个在公开的大数据集上收敛且效果较好的模型作为预训练权重，并在此基础上利用业务数据对模型进行微调。在Fine-tune中，默认的源域（预训练模型）和目标域数据集（用户业务数据集）需要有很强的相关性，即数据是同分布的，这样我们就可以使用大量的预训练模型知识储备，可以针对特定业务场景快速高效地训练模型，取得优异的效果。但是在实际应用场景中，很多用户会面临数据集分布与源数据集分布不一致的问题。比如预训练模型的数据全是自然风光，而用户的数据集全是动漫人物。类似这种源数据集和目标数据相差较大的问题，在具体应用中，很容易造成负迁移，表现为训练收敛慢，模型效果差。因此，拥有一个包含各种场景、覆盖用户各种需求的超大规模数据集是非常重要的。通过这个包罗万象的超大规模数据集训练出来的模型，能够更好的适应各行各业用户的需求，更加微调用户的业务数据集，帮助用户在自己的数据上得到更好的模型放。百度自研超大规模视觉预训练模型涵盖图像分类和目标检测两个方向。与在公开数据集上训练的普通预训练模型相比，在各种数据集、模型效果和泛化能力上都有不同程度的提升。性有了明显改善。在视觉方向，百度自研的超大规模视觉预训练模型涵盖图像分类和物体检测两个方向。图像分类预训练模型使用海量互联网数据，包括100,000+物体类别和6500万张超大规模图像，通过大规模训练获得，适用于各种图像分类场景；物体检测预训练模型采用800+类别、170万张图片、1000万+物体框数据集，通过大规模训练得到，适用于各种物体检测应用场景。与使用公开数据集训练的普通预训练模型相比，它在各个数据集上都有不同程度的提升，模型效果和泛化能力都有了显着提升。（以下实验数据集均来自不同行业）图像分类在图像分类模型中，采用百度超大规模预训练模型的Resnet50_vd，对比各数据集模型性能平均提升12.76%与普通模型，并使用百度超大规模预训练模型模型的Resnet101_vd模型相比普通预训练模型平均提升13.03%，而使用百度超大规模预训练模型的MobilenetV3_large_1x-训练模型相比普通预训练模型平均提升8.04%。并且，在图像分类方向，还新增了11个模型，包括：EffcientNetB0_smallEfficientNetB4MobileNetV3_large_x1_0ResNet18_vdResNeXt101_32x16d_wslRes2Net101_vd_26w_4sSE_ResNet18_vdXception71还有基于百度超大规模预训练模型训练出来的ResNet50_vd，ResNet101_vd和MobileNetV3_large_x1_0，其中比较特殊的几个模型，EffcientNetB0_small是去掉SE模块的EffcientNetB0,whileensuringthattheaccuracydoesnotchangemuch,greatlyimprovesthespeedoftrainingandreasoning.ResNeXt101_32x16d_wslisaweaklysupervisedpre-trainingmodelbasedonalargenumberofpictures,withhighaccuracy,butthepredictiontimeisrelativelyincreased.Res2Net101_vd_26w_4sisinasingleresidualblockAlayeredresidualconnectionisfurtherconstructed,whichismoreaccuratethanResNet101;theinferencetime,effect,andsupporteddeploymentmethodsofthenewlyaddedclassificationmodelareshowninthefollowingtable:Note:TheabovemodelsarealltrainedontheImageNet1kclassificationdatasetAndtestmorepresetmodels,seeEasyDLofficialwebsite:https://ai.baidu.com/ai-doc/EASYDL/0k38n3p16Formoremodeleffects,seePaddleClas:https://paddleclas.readthedocs.io/zh_CN/latest/models/models_intro.htmlInaddition,inordertofurtherimprovethemodeleffectoftheimageclassificationmodel,atthetraininglevel,theimageclassificationhasaddedmix_upandlabel_smoothingfunctions,whichcanbeselectedtobeturnedonoroffaccordingtothetrainingsituationofthemodelinthesingle-labelclassificationtask.mix_upisadataenhancementmethod.Itrandomlyselectstwosamplesfromthetrainingsamplesforsimplerandomweightedsummation,andsavesthisweight.Atthesametime,thelabelofthesampleisalsoweightedandsummedwiththesameweightcorrespondingly,andthenpredictstheresult.Thelabelcalculationlossafterweightedsummationcanreducethememoryofthemodelforwronglabelsandenhancethegeneralizationabilityofthemodelbymixingthefeaturesofdifferentsamples.Label_smoothingisaregularizationmethod,whichincreasesthedistancebetweenclassesandreducesthedistancewithinclasses,avoidingthemodel’spredictionresultsbeingtooconfidentandcausingthepredictiondeviationoftherealsituation.Fittingproblem.物体检测在物体检测模型中，YOLOv3_DarkNet采用百度超大规模预训练模型，在各种数据集上的模型性能较普通模型平均提升4.53%。Faster_RCNN，采用百度超大规模预训练模型模型，平均提升1.39%。而且在目标检测方向，增加了基于百度超大规模预训练模型训练的Cascade_Rcnn_ResNet50_FPN、YOLOv3_ResNet50vd_DCN、YOLOv3_MobileNetv1网络，以及YOLOv3_Darknet、Faster_R-CNN_ResNet50_FPN。该采样机构进一步提高了探测器的精度和定位的精度。此外，应用户需求，增加了两个YOLOv3的变体模型。其中，YOLOv3_MobileNetV1用MobileNetv1替换了原来的YOLOv3骨架网络。与YOLOv3_DarkNet相比，新模型在GPU上的推理速度提升了约73%。YOLOv3_ResNet50vd_DCN将骨架网络替换为ResNet50-VD。与原来的DarkNet53网络相比，在速度和准确率上有一定的优势。在保证GPU推理速度基本不变的情况下，模型效果提升1%，由于加入了可变形卷积，对不规则物体的检测效果也有一定的正向提升。各检测模型的效果及支持的部署方式如下表所示：注：以上模型均基于COCO17数据集进行训练和测试。更多预设模型参见EasyDL官网https://ai.baidu.com/ai-doc/EASYDL/0k38n3p16更多模型效果参见PaddleDetection：https://github.com/PaddlePaddle/PaddleDetection/blob/release/0.3/docs/MODEL_ZOO_cn.md各模型推理时间如下表所示：注：以上模型均基于coco17训练。更多关于模型速度的细节参见PaddleDetection：https://github.com/PaddlePaddle/PaddleDetection/blob/release/0.3/docs/advanced_tutorials/deploy/BENCHMARK_INFER_cn.md百度超大规模视觉预训练modelvs.pre-trainingonpublicdatasets训练模型的效果有了明显的提升。目前，这些模型已经在EasyDL专业版中预置并正式发布。EasyDL专业版是飞桨企业版的零门槛AI开发平台EasyDL。是专门针对专业算法工程师群体推出的AI模型开发与服务平台。支持视觉和自然语言处理两大技术方向，可灵活支持脚本调优和notebook开发方式。预设了数十种来自经典网络和百度海量数据训练的预训练模型。示范效应在行业内领先。同时支持公有云/私有化/端侧等灵活部署方案，开发效率高，训练速度快。同时，设备端的轻量化部署和加速方案，使得内存占用更小，预测速度更快。开发者可以搜索进入EasyDL平台，选择专业版，选择【新建任务】-【配置任务】-【选择预训练模型】选择【百度超大规模数据集通用分类预训练模型】零-门槛AI开发平台EasyDL，为AI开发全流程提供灵活易用的一站式平台解决方案。它包括AI开发过程中的三大流程：数据服务、训练开发、模型部署。在数据服务方面，刚刚上线的EasyData智能数据服务平台涵盖了数据的采集、管理、清洗、标注、安全，并支持接入EasyDL进行训练。模型训练部署完成后，在云服务授权的前提下完成数据返回，发现误判数据，修正结果并加入模型迭代的训练集，实现训练数据的不断丰富和模型效果的不断优化。EasyData在业界率先推出软硬件一体化、端云协同的自动化数据采集解决方案。有离线视频数据采集功能的用户可以下载EasyData的数据采集SDK，通过定时拍照、抓取视频帧的方式进行实时统计。在云端处理。在训练开发方面，除了刚刚提到的大规模预训练模型提升模型性能外，EasyDL还利用AutoDL自动搜索最优网络、自动超参数搜索、自动数据增强、分布式训练加速等丰富的训练机制，提高模型的训练效果和训练速度。在模型部署方面，EasyDL为端云协同提供了多种灵活的部署方式，包括公有云API、端端SDK、本地服务器部署、软硬件一体化产品等。值得一提的是，在EasyDL软硬件一体化产品矩阵方案中，提供了六大软硬件一体化解决方案，涵盖超高性能、高性能和低成本低功耗三种不同形态，满足各种业务需求开发者，已应用于数十个行业数百个场景。更多软硬件一体化解决方案可以查看：https://ai.baidu.com/easydl/solution百度搜索“EasyDL专业版”或直接点击链接进入EasyDL专业版，感受一下预训练模型的强大效果！https://ai.baidu.com/easydl/pro
