在深度学习领域，有一个词越来越受关注：迁移学习。与性能良好的监督学习相比，它可以减少很多枯燥的标注过程。简单来说，就是在用大数据集训练的预训练模型上迁移小数据集，以获得新数据更好的结果。识别效果由于可以大大节省新模型开发的成本，在实际应用中得到了更广泛的关注。基于此，百度EasyDL零门槛AI开发平台引入超大规模视觉预训练模型，结合迁移学习工具，帮助开发者用少量数据快速定制高精度AI模型。难以获得高质量的数据，迁移学习提高了模型效果。在训练深度学习模型时，通常需要大量的数据，而数据收集、标注等数据准备过程会消耗大量的人力、财力和时间。为了解决这个问题，我们可以使用预训练模型。以预训练模型A为起点，在此基础上重新调优，利用预训练模型及其学习到的知识来提高其执行另一个任务B的能力，简单来说就是在a上训练的预训练大数据集在模型上迁移小数据集以获得对新数据更好的识别效果就是迁移学习。作为一种机器学习方法，迁移学习被广泛应用于各种深度学习任务中。在实现迁移学习时，深度网络迁移的方法有很多，其中Fine-tune（微调）是最简单的深度网络迁移方法，主要是将训练好的模型参数迁移到新模型中。帮助进行新模型训练。对于一个具体的模型开发任务，我们通常会选择一个在公开的大数据集上收敛且效果较好的模型作为预训练权重，并在此基础上利用业务数据对模型进行微调。在Fine-tune中，默认的源域（预训练模型）和目标域数据集（用户业务数据集）需要有很强的相关性，即数据是同分布的，这样我们就可以使用大量的预训练模型知识储备，可以针对特定业务场景快速高效地训练模型，取得优异的效果。但是在实际应用场景中，很多用户会面临数据集分布与源数据集分布不一致的问题。比如预训练模型的数据全是自然风光，而用户的数据集全是动漫人物。类似这种源数据集和目标数据相差较大的问题，在具体应用中，很容易造成负迁移，表现为训练收敛慢，模型效果差。因此，拥有一个包含各种场景、覆盖用户各种需求的超大规模数据集是非常重要的。通过这个包罗万象的超大规模数据集训练出来的模型，能够更好的适应各行各业用户的需求，更加微调用户的业务数据集，帮助用户在自己的数据上得到更好的模型放。百度的超大规模预训练模型就是在这种背景下产生的。在视觉方向，百度自研的超大规模视觉预训练模型涵盖图像分类和物体检测两个方向。图像分类预训练模型使用海量互联网数据，包括100,000+物体类别和6500万张超大规模图像，通过大规模训练获得，适用于各种图像分类场景；物体检测预训练模型采用800+类别、170万张图片、1000万+物体框数据集，通过大规模训练得到，适用于各种物体检测应用场景。与使用公开数据集训练的普通预训练模型相比，它在各个数据集上都有不同程度的提升，模型效果和泛化能力都有了显着提升。真实测试数据展示了百度超大规模视觉预训练模型的强大能力（以下实验数据集来自不同行业）。上述模型的平均效果提高了12.76%。采用百度超大规模预训练模型的Resnet101_vd，相比普通预训练模型平均提升13.03%。采用百度超大规模预训练模型的MobilenetV3_large_1x，平均提升8.04%。ResNet50_vd、ResNet101_vd、MobileNetV3_large_x1_0基于百度超大规模预训练模型训练。其中，几个特殊的模型，EffcientNetB0_small是没有SE模块的EffcientNetB0，在保证准确率变化不大的情况下，大大提高了训练和推理速度。ResNeXt101_32x16d_wsl是基于大量图片的弱监督预训练模型，准确率较高，但预测时间相对增加。Res2Net101_vd_26w_4s在单个残差块中进一步构建了分层残差类连接，比ResNet101更准确。而且，为了进一步提升图像分类模型的模型效果，在训练层面，图像分类增加了mix_up和label_smoothing函数，可以根据模型在训练中的情况选择开启或关闭。单标签分类任务。mix_up是一种数据增强方法。它从训练样本中随机选取两个样本进行简单的随机加权求和，并保存这个权重。同时对样本的label也进行相应的加权，用相同的权重求和，然后预测结果。加权求和后的标签计算损失可以减少模型对错误标签的记忆，通过混合不同样本的特征来增强模型的泛化能力。Label_smoothing是一种正则化方法，增加类间距离，减小类内距离，避免模型的预测结果过于自信而造成对真实情况的预测偏差。装修问题。物体检测在物体检测模型中，YOLOv3_DarkNet采用百度超大规模预训练模型，在各种数据集上的模型性能较普通模型平均提升4.53%。Faster_RCNN，采用百度超大规模预训练模型模型，平均提升1.39%。而且，在物体检测方向，EasyDL内置了基于百度超大规模预训练模型训练的YOLOv3_Darknet和Faster_R-CNN_ResNet50_FPN。其中，Cascade_Rcnn_ResNet50_FPN级联多个检测器，并设置不同IOU的重采样机制，使检测器的精度、定位精度得到进一步提升。此外，应用户需求，增加了两个YOLOv3的变体模型。其中，YOLOv3_MobileNetV1用MobileNetv1替换了原来的YOLOv3骨架网络。与YOLOv3_DarkNet相比，新模型在GPU上的推理速度提升了约73%。YOLOv3_ResNet50vd_DCN将骨架网络替换为ResNet50-VD。与原来的DarkNet53网络相比，在速度和准确率上有一定的优势。在保证GPU推理速度基本不变的情况下，模型效果提升1%，由于加入了可变形卷积，对不规则物体的检测效果也有一定的正向提升。结合多个数据可以发现，百度的超大规模视觉预训练模型与在公开数据集上训练的预训练模型相比，效果有明显提升。EasyDL零门槛高效定制高精度AI模型百度EasyDL是基于飞桨深度学习平台，面向企业开发者的零门槛AI开发平台。预训练模型支持图像分类、物体检测、文本分类、音视频分类等多种类型模型，支持公有云/私有/设备等灵活部署方式。EasyDL已广泛应用于工业、零售、制造、医疗等领域。在模型开发和应用过程中，从数据准备、模型训练到服务部署，开发者在每个环节都可能面临不同的门槛和困难。在数据准备阶段，如何根据业务需求选择合适的训练数据并正确标注？进入模型训练环节，如何选择合适的模型，如何提高准确率？到达部署的“最后一公里”，如何选择硬件，如何快速完成业务整合？这是您回答问题的机会！本周六，AI快车道将来到“世界历史名城”西安。昆仑芯片的六个方向将进行深入讲解。欢迎有AI应用，热爱深度学习技术，寻求技术突破的开发者前来【高新希尔顿酒店7层3号馆】交流。专注产业、产业发展的城市，与大家共筑AI之路！同日，AI高速路【EasyDL零门槛模型开发营】也在【西安高新希尔顿酒店7楼1号馆】。百度资深研发工程师将用半天时间深入浅出地讲解技术原理，并结合业务和技术案例分析行业标杆，指导学员携手完成模型开发！还有设备端模型技术原理、研发经验的介绍和演示，以及多年提升模型效果的经验分享，助你短时间超高效获取EasyDL模型开发真经！同时，还将同步进行线上直播，扫描海报二维码或点击报名链接，报名进群即可获取完整课表和直播链接！报名链接：https://paddle.wjx.cn/jq/93404058.aspx?udsid=793872
