本文经AI新媒体量子位（公众号ID：QbitAI）授权转载，转载请联系出处。数据少，又没有预训练模型，怎么破？这是你的秘密武器——自我监督学习。数据科学家JeremyHoward发布推文：在医学影像领域，我们往往需要用很少的数据做大量的工作。解决这个问题的一种被低估的方法是自我监督学习，这简直太神奇了！同时附上最新的fast.ai相关教程。△地址：https://www.fast.ai/2020/01/13/self_supervised/这条推文立即引起了大批网友的关注，好评如潮。这是一篇很棒的文章，太酷了！这是一种简单而强大的技术。接下来，我们就来看看自监督学习到底有多厉害。自监督学习简介在大多数情况下，训练神经网络应该从预训练模型开始，然后对其进行微调。通过预训练模型，可以比从头训练节省1000倍的数据。那么试想一下，如果你所在的领域没有预训练模型怎么办？例如，在医学影像领域，预训练模型非常少。最近，有一篇比较有趣的论文研究了这个问题。△论文地址：https://arxiv.org/pdf/1902.07208.pdf研究发现，即使使用ImageNet模型（pretrained）中的前几层（earlylayers）也能提高训练速度和最终准确率。所以，即使一个通用的预训练模型不在你的研究领域范围内，你也可以尝试使用它。不过，这项研究也指出了一个问题：改善的程度并不大。有没有一种不需要大量数据，就能取得更好效果的技术呢？自我监督学习是秘诀。它可以被视为机器学习的“理想状态”，其中模型直接从未标记的数据中学习自己，而不标记数据。例如，ULMFiT（一种NLP训练方法）的关键是自监督学习，大大提高了NLP领域的技术水平。△论文地址：https://arxiv.org/abs/1801.06146在基于自监督学习的方法中，首先训练一个语言模型来预测句子的下一个单词。并且当这个预训练模型用于另一个任务（比如情感分析）时，可以用少量的数据得到最新的结果。计算机视觉中的自监督学习在自监督学习中，用于预训练的任务称为借口任务。那么用于微调的任务称为下游任务（downstreamtask）。虽然自监督学习在自然语言处理领域的应用仍然很普遍，但在计算机视觉领域却很少被使用。也许由于ImageNet等预训练模型的成功，医学成像等领域的研究人员可能不太熟悉自我监督学习的需求。下面介绍了在CV领域应用自监督学习的论文示例。希望越来越多的人能够关注到这一关键技术。Colorization（着色）彩色图像着色△论文地址：https://arxiv.org/abs/1603.08511LearningRepresentationsforAutomaticColorization△论文地址：https://arxiv.org/pdf/1603.06668TrackingEmergesbyColorizingVideos△https：//arxiv.org/pdf/1806.09594EffectDisplayPuttheimagepatchinthecorrectposition△论文地址：https://arxiv.org/pdf/1505.05192EffectdisplayPlaceframesinthecorrectorderUnsupervisedRepresentationLearningbySortingSequences△论文地址：https://arxiv.org/pdf/1708.01246ShuffleandLearn:UnsupervisedLearningusingTemporalOrderVerification△论文地址：https://arxiv.org/pdf/1603.08561EffectDisplayImageRestoration(Inpainting)ContextEncoders:FeatureLearningbyInpainting△论文地址：https://arxiv.org/pdf/1604.07379EffectDisplayClassifieddamagedimagesSelf-SupervisedFeatureLearningbyLearningtoSpotArtifacts△论文地址：https://zpascal.net/cvpr2018/Jenni_Self-Supervised_Feature_Learning_CVPR_2018_paper.pdf的效果展示了如何选择借口任务。为了在计算机视觉中使用自监督学习，有必要回答一个非常重要的问题：应该使用哪个借口任务？许多人选择使用“自动编码器”作为借口任务。自动编码器将输入图像转换为简化形式，然后将其转换回尽可能接近原始图像的形式。然而，我们不仅需要重现原始图像内容，还需要重现原始图像中的所有噪声。因此，如果你想在下游任务中生成更高质量的图像，这将是一个糟糕的选择。此外，您需要确保借口任务是人类可以完成的任务。例如，如果预测时间点太远，预测视频的下一帧是不可行的。对下游任务进行微调一旦使用前置任务对模型进行了预训练，就可以进行微调。在这一点上，该问题应该被视为一种迁移学习，无需过多改变预训练模型的权重。总的来说，JeremyHoward建议不要浪费太多时间来创建“完美”的借口模型，而是构建尽可能快速和简单的东西。然后，需要确保这个借口模型是否能够满足下游任务。而且，事实证明，您通常不需要非常复杂的借口任务就可以在下游任务中取得良好的效果。YannLeCun更好的方式推荐JeremyHoward在发出这条推文后，深度学习三巨头之一的YannLeCun回复了他。YannLeCun有一个更好的建议：目前，学习视觉特征的最佳SSL方法是使用Siamese网络来学习嵌入。相关研究包括：Self-SupervisedLearningofPretext-InvariantRepresentations△论文地址：https://arxiv.org/pdf/1912.01991JeremyHoward回复LeCun：ItisaverygoodthingtoaddPiRLtoanypretexttask。JeremyHoward△JeremyHowardJeremyHoward，澳大利亚数据科学家和企业家。fast.ai的创始研究人员之一，该机构致力于让深度学习更容易获得。在此之前，他是总部位于旧金山的先进机器学习公司Enlitic的首席执行官兼创始人。
