一、研究背景监督学习（SupervisedLearning）我们知道，模型训练的目的其实是为了学习一个预测函数。在数学上，这可以描述为学习从数据(X)到标签(y)的映射函数。监督学习是最常用的模型训练方法之一。其效果的提升依赖于大量标记良好的训练数据，也就是所谓的大量标记数据((X,y))。但是标注数据往往需要耗费大量的人力物力等，因此效果的提升也会带来成本高的问题。实际应用中经常遇到的情况是有少量标记数据和大量未标记数据，由此产生的半监督学习越来越受到科学家的关注。半监督学习半监督学习同时学习少量标记数据和大量未标记数据，其目的是借助未标记数据提高模型的准确率。例如，自我训练是一种非常常见的半监督学习方法。它的具体过程是对有标签的数据(X,y)学习X到y的映射，并用学习到的模型预测一个无标签数据X。伪标签，通过对伪标签数据(X)进一步的监督学习,)帮助模型实现更好的收敛性和精度提升。问题的核心解决方案现有的半监督学习框架大致可以将未标记数据的使用分为两种，一种是完全参与训练，另一种是使用固定的阈值来挑选出置信度较高的样本进行训练培训（例如FixMatch）。由于半监督学习对无标签数据的使用依赖于当前模型预测的伪标签，因此伪标签的正确性对模型的训练影响较大，好的预测结果有助于收敛模型的学习和新模型的学习，不好的预测结果会干扰模型的训练。所以我们认为：并非所有未标记的样本都是必要的！2.论文&代码论文链接：https://proceedings.mlr.press/v139/xu21e/xu21e.pdf代码地址：https://github.com/idstcv/Dash技术应用：https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary本文创新性地提出了一种用动态阈值（dynamicthreshold）筛选未标记样本进行半监督学习（SSL）的方法，我们改造了半监督学习训练框架，改进了选择策略训练过程中未标记样本的数量，通过动态变化的阈值选择更有效的未标记样本进行训练。Dash是一种通用策略，可以很容易地与现有的半监督学习方法集成。在实验方面，我们已经充分验证了其在CIFAR-10、CIFAR-100、STL-10和SVHN等标准数据集上的有效性。在理论方面，论文从非凸优化的角度证明了Dash算法的收敛性。3.MethodFixmatchtrainingframework在介绍我们的方法Dash之前，我们先介绍一下Google提出的FixMatch算法，一种使用固定阈值来选择未标记样本的半监督学习方法。FixMatch培训框架是以前的SOTA解决方案。整个学习框架的要点可以概括如下：1.对于未标注数据，通过弱数据增强（水平翻转、偏移等）得到的样本，由当前模型进行预测。2.对于未标注的数据，经过强数据增强（RA或CTA）当前模型得到的样本得到预测值3.将高置信度弱数据增强的结果通过onehotmethod形成伪标签，以及然后通过强数据增强X和X得到的预测值进行模型训练。fixmatch的优点是使用弱增强的数据来预测伪标签，增加了伪标签预测的准确率，训练时使用固定阈值0.95（对应loss为0.0513）选择高置信度（阈值大于等于0.95，也就是loss小于等于0.0513的预测样本）生成伪标签，进一步稳定了训练过程。Dashtrainingframework针对选择所有伪标签和使用固定阈值选择伪标签的问题，我们创新性地提出了一种使用动态阈值进行样本筛选的策略。即动态阈值是一个随t衰减的公式，其中C=1.0001是第一个epoch后标记数据损失的平均值，我们选择那些未标记的样本参与梯度回归。下图显示了阈值在不同值下的变化曲线。可以看出，该参数控制了阈值曲线的下降速度。的变化曲线类似于模拟训练模型时损失函数的下降趋势。下图随着训练的进行，对比了FixMath和Dash在训练过程中选择的正确样本数和错误样本数（使用的数据集是cifar100）。从图中可以明显看出，与FixMatch相比，Dash可以选择更多标签正确的样本，同时选择更少标签错误的样本，最终有助于提高训练模型的准确率。我们的算法可以概括为算法1，如下所示。Dash是一种通用策略，可以很容易地与现有的半监督学习方法集成。为了方便起见，我们在本文的实验中主要将Dash与FixMatch集成在一起。有关更多理论证明，请参阅论文。4.结果我们在常用的半监督学习数据集：CIFAR-10、CIFAR-100、STL-10和SVHN上验证了算法。结果如下：可以看出，我们的方法在多个实验设置中取得了比SOTA更好的结果。需要说明的是，对于CIFAR-100400label的实验，ReMixMatch使用了dataalign这个额外的trick来取得更好的效果。不错的效果，在Dash中加入dataaligntrick后，可以达到43.31%的错误率，低于ReMixMatch的44.28%错误率。5.应用半监督Dash框架经常被应用在面向任务领域的模型开发过程中。接下来，我将向大家介绍我们开发的各个领域的开源和免费模型。欢迎大家体验下载（大部分手机都可以体验）：https://modelscope.cn/models/damo/cv_resnet50_face-detection_retinaface/summaryhttps://modelscope.cn/models/damo/cv_resnet101_face-detection_cvpr22papermogface/summaryhttps://modelscope.cn/models/damo/cv_manual_face-detection_tinymog/summaryhttps://modelscope.cn/models/damo/cv_manual_face-detection_ulfd/summaryhttps://modelscope.cn/models/damo/cv_manual_face-detection_mtcnn/summaryhttps://modelscope.cn/models/damo/cv_resnet_face-recognition_facemask/summaryhttps://modelscope.cn/models/damo/cv_ir50_face-recognition_arcface/summaryhttps://modelscope.cn/models/damo/cv_manual_face-liveness_flir/summaryhttps://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summaryhttps://modelscope.cn/models/damo/cv_manual_facial-landmark-confidence_flcm/summaryhttps://modelscope.cn/models/damo/cv_vgg19_facial-expression-recognition_fer/summaryhttps://modelscope.cn/models/damo/cv_resnet34_人脸属性识别_fairface/summary
