当前位置: 首页 > 科技赋能

如何使用EasyDL专业版用少量数据训练高精度AI模型

时间:2024-05-20 01:32:04 科技赋能

EasyDL是基于PaddlePaddle框架推出的企业一站式AI开发平台。

它从数据和模型两个方面出发,构建了一套视觉算法框架。

效果优化为开发者提供了更加灵活可选的效果优化机制。

图 1 是性能优化机制的总体概述。

EasyDL专业版效果优化机制我们以货架挡板检测场景为例,讲解如何使用EasyDL专业版逐步优化模型精度。

货架挡板检测可用于货架层识别等零售领域。

该场景的特点是货架种类较多。

从图2中的货架挡板检测标注图可以看出,标注的高宽比例相当极端。

演示模型有 70 个货架挡板检测训练数据集。

货架挡板检测标注图首先介绍了模型的优化机制。

1)模型层面的灵活选择。

EasyDL专业版支持飞桨大师模式,内置在百度海量数据上训练的预训练模型,可以在少量的训练数据上达到更好的训练效果。

目前,Faster R-CNN、YOLO v3、SSD 三种检测模型已上线。

我们在coco权威目标检测数据集上比较了三种模型的性能。

从表1中我们可以看到Faster R-CNN和YOLOv3在模型精度方面的比较。

优点是有的,但是SSD在模型推理速度上有很大的优势。

用户可以根据不同的应用场景选择不同的型号。

近期,专业版将逐步推出更多性能更好的开源模型以及百度自研的大规模预训练模型。

模型名称 准确率(mAP) 推理时间(fps) 适用场景 Faster R-CNN39.7%21 精度要求高 YOLOv.9%45 一般场景 SSD29.1% 高速推理场景 表 1. Coco 模型性能对比 [1]我们分别对三种检测模型的架子数据进行训练,可以看出Faster R-CNN的训练效果优于其他两种模型。

从精度提升的角度来看,我们选择Faster R-CNN。

模型名称优化方法准确率(mAP) Faster R-CNN benchmark 0. YOLOv3 benchmark 0.80 SSD benchmark 0. 表2. 货架挡板检测模型优化效果[1] 2)代码级灵活调参 EasyDL 专业版为用户提供了灵活性代码级调参能力,方便有一定深度学习基础的用户更细致、更灵活地定制模型。

以Faster R-CNN模型为例,用户不仅可以调整预设的系统参数(如模型训练迭代次数(epochs)、模型输入大小(input size)、学习率衰减策略(lr Decay))等等,还可以自由定制模型的配置代码和参数。

由于篇幅限制,我们简单介绍一下其中的一些参数。

我。

模型输入大小(input size):模型的输入大小是指实际输入模型的训练数据的大小。

一般来说,较大的输入尺寸有助于模型学习小目标,但较大的输入尺寸会降低模型的推理速度,因此该参数的调整应根据实际情况进行选择。

二.学习率衰减策略((lr Decay):学习率是模型训练中非常重要的超参数,在训练前期配置较大的学习率,在训练后期逐渐减小学习率,可以帮助模型收敛到更好的解决方案,用户可以配置lr_decay=True来使用学习率衰减策略。

iii.Anchor配置参数(aspect_ratios):基于anchor原理的物体检测模型对先验anchor高宽比例的选择有一定的要求。

基于数据集特征的锚点参数可以使模型更好地学习定位物体的能力,针对货架挡板的极端特征,我们可以利用聚类等方法来调整代码模板的锚点参数。

我们利用自主开发的高宽自适应能力对aspect Ratio进行优化,发现如图3所示的具体aspect_ratios修改可以很好地适应货架挡板数据集。

再次训练模型,如图4所示。

Faster R-CNN模型效果从0.提升到0.87。

未来高宽比例适配的能力将会作为可选组件开放给用户。

锚点优化 锚点优化效果提升 接下来我们介绍一下数据优化机制。

深度学习模型的成功很大程度上得益于大量的标注数据集。

一般来说,可以通过增加数据规模、增加数据多样性、增加实际场景数据来改善模型效果。

1)从增加数据多样性的角度出发,专业版开发了自动数据增强搜索功能,可以基于数据集。

功能自动搜索适合特定数据集的数据增强策略组合。

在实践中,收集大量高质量的数据并不容易,在某些特定领域甚至无法大量获取。

那么如何在有限的数据下尽可能的提高模型的性能呢?数据增强通过在一定程度上扰动数据本身来生成“新”数据。

该模型通过学习大量“新”数据来提高模型的泛化能力。

然而,手动配置数据增强策略依赖于用户对实际场景的理解,因此可能难以选择有效的数据增强策略。

自动数据增强搜索可以在增强算子组合的有限搜索空间内搜索适合该数据集的数据增强算子组合。

对于货架挡板的情况,在基线模型中加入自动数据增强搜索,效果从0.提升到0。

在anchor优化的基础上叠加自动数据增强搜索,仍然可以获得正收益。

如图5所示,效果从0.87提升到0。

数据增强效果对比 2)从增加数据规模的角度出发,专业版开发了多人标注/智能标注能力,降低用户的数据标注成本和帮助用户快速扩大数据规模。

多人标注可以将标注任务划分为多个数据集,允许多个用户同时执行数据标注任务。

目前多人标注仅支持经典版,后续将在专业版中开放。

智能标注会从数据集中的所有图像中过滤掉最关键的图像,并提示优先标注。

因此,用户只需标记数据集中约30%的数据即可训练模型。

与标记所有数据后训练相比,模型效果几乎相同。

利用多人标注/智能标注能力,可以快速扩大数据规模。

针对货架挡板案例,我们利用智能标注能力,在短时间内将数据规模从97张扩大到了张。

通过使用扩展后的数据集进行模型训练,预计模型效果将进一步提升。

但由于数据规模的变化,平台自动随机分割生成的验证集不一致,因此无法利用训练时的评价指标来客观评价两个模型的性能。

针对这个问题,我们可以利用平台提供的独立评估集功能来客观评估单个模型的性能,然后比较两个模型的性能。

27条数据独立标记为评估集。

上传训练模型后可以发现,通过智能标注扩大数据规模后,效果从0.提升到0.,效果对比如图6所示。

97个数据集在评估集上的效果。

97个数据集对评估集的影响。

图6 智能标注效果对比 3)专业版从增加实际场景数据的角度出发,开发了数据闭环能力,帮助用户实现实际场景数据优化模型。

数据流闭环可以进一步提高模型的泛化能力。

Faster R-CNN的优化效果总结如下表3。

单一模型效果提升9%以上,模型效果提升显着。

优化方法准确率(mAP)基准 0. 自动数据增强 0. Anchor 优化 0.87 Anchor 优化 + 自动数据增强 0. Anchor 优化 + 自动数据增强 + 智能标注 0. (独立评估集) 表 3 Faster R-CNN 效果优化通过尝试以上一系列效果优化机制,用户可以使用EasyDL专业版轻松提升模型效果。

EasyDL可以为各行业有AI模型开发需求的企业和开发者提供从数据管理与标注、模型训练、服务部署的全流程支持。

模型训练效果好,训练效率高,数据服务完整、安全。

支持终端、云端、软硬件一体化等多种灵活部署方式。

目前EasyDL拥有专业版、零售版、经典版三款产品。

针对不同人群、不同需求,提供高效AI模型开发和部署的平台产品。