神经网络模型训练最大的缺点是需要大量的训练数据，而无监督学习和自学习监督学习可以很好的解决标注问题。今年3月，FacebookAIResearch和纽约大学的YannLeCun联合在arxiv上发表了一篇关于自监督学习的论文，提出了模型BarlowTwins。这个名字来自神经科学家H.Barlow的冗余减少原则。近日，这篇论文在Reddit上掀起了一波讨论热潮。对于LeCun的论文，网友们似乎有些不服气。自监督学习所谓的自监督是训练，但不是完全训练。使用的标签来自自身，它与无监督学习的界限逐渐模糊。自监督学习在NLP领域取得了巨大的成就。BERT、GPT、XLNET等自监督模型几乎包揽了NLP的各大榜单，也为业界带来了不小的进步。在CV领域，自我监督似乎才刚刚兴起。从Kaiming的MoCo和Hinton的陈婷的SimCLR，近两年在大佬的推动下，自监督学习（SSL，self-supervisedlearning）取得了巨大的成功。何玉明制作的Moco模型发表在CVPR2020上，是Oral。文章的核心思想是使用一种基于对比学习的自监督训练一种图片表示，即编码器，可以更好地对图片进行编码，然后应用到下游任务中。基于对比的自监督学习最大的问题是负样本数量的增加会增加计算开销。何凯明使用基于队列的动态字典来存储样本，并结合动量更新编码器来解决问题。编码器的快速变化减少了密钥表示一致性问题。MoCo在多个数据集上取得了最先进的结果，弥合了监督学习和无监督学习之间的差距。Hinton组的SimCLR专注于同一图像的不同数据增强方法。具体来说，它随机采样一个batch，对batch中的每张图像进行两次增强，可以认为是两个视图；使同一张图片不同的视图在latentspace中距离较近，不同图的view在latentspace中距离较远，这是通过NT-Xent实现的。从AutoEncoder到语言模型，可以说是无标注数据让预训练模型达到了惊人的效果，然后在标注数据上的finetune让他有了应用价值。今年3月，BarlowTwins将YannLeCun的一篇论文添加到arxiv。CV领域自监督学习的最新成果，始终在向世人证明，无需数据标签也能达到监督效果。目前自监督学习的主流方法是让网络学习输入样本在不同畸变（distortion）下的不变特征（也称为数据增强），但这种方法很容易遇到普通解，而且大多数现有的方法都是通过上面的细节来实现的，避免崩溃。LeCun的团队解释说，这种方法通常会遇到琐碎的常量表示，这通常会采用不同的机制和谨慎的实施细节来避免崩溃的解决方案。BarlowTwins是解决这个问题的目标函数，它测量两个相同网络的输出特征之间的互相关矩阵，馈送一个失真版本以尽可能接近单位矩阵，同时最小化向量分量之间的相关冗余。受英国神经科学家HoraceBarlow1961年一篇论文的启发，BarlowTwins方法将解释视觉系统组织的原理“冗余减少”应用于自我监督学习，这也是感官信息转换背后的基本原理。研究人员通过迁移学习将该模型应用于不同的数据集和计算机视觉任务，以评估BarlowTwins的表示，还在图像分类和目标检测任务上进行了实验，在ImageNetILSVRC-2012数据集上使用自监督学习网络是预训练的。结果表明，概念上更简单且避免琐碎参数的BarlowTwins优于以前的自我监督学习方法。研究人员认为，所提出的方法只是信息瓶颈原理应用于SSL的一个可能实例，进一步的算法改进可能会导致更有效的解决方案。李静为该论文的第二作者。本科时考入北京大学物理学院。他获得了物理学学士学位和经济学学士学位，并获得了博士学位。麻省理工学院物理学博士。2010年在第41届国际中学生物理奥林匹克竞赛中获得金牌。目前在FacebookAIResearch(FAIR)做博士后研究，与YannLeCun一起研究自监督学习。他的研究领域还包括表示学习、半监督学习、多模态学习和科学人工智能。他还是制造光学人工智能计算芯片的LightelligenceInc.的联合创始人。在企业技术领域，荣获《福布斯》中国30位30岁以下杰出人物。而YannLeCun是??CNN之父，纽约大学终身教授，与GeoffreyHinton、YoshuaBengio并称为“深度学习三巨头”。前Facebook人工智能研究所负责人，IJCV、PAMI和IEEETrans审稿人，他创立了ICLR（InternationalConferenceonLearningRepresentations）会议并与YoshuaBengio共同主持。1983年获巴黎ESIEE电子工程学位，1987年获UniversitéP&MCurie计算机科学博士学位。1998年开发LeNet5，被称为“机器学习界的果蝇”的经典数据集MNIST由Hinton制作.2014年获得IEEE神经网络领袖奖，2019年获得图灵奖，大牛也犯错？YannLeCun可谓深度学习领域的大牛，但也饱受质疑。有网友评论说，这篇论文完全没有意义。本文提出的方法仅在一定条件下有用，仍然需要大规模的计算资源。随着批量大小的增加，效果会降低，但为什么呢？也有人说图1是错误的，损失函数也没有意义。知乎网友也认为BarlowTwins只是融合了自监督学习技术，比如增加batchsize、增加训练时间、交替迭代、预测机制、停止梯度等，学习过程就是让互相关矩阵尽可能接近可能到单位矩阵。你怎么看呢？
