本文经人工智能新媒体量子比特（公众号ID：QbitAI）授权转载。转载请联系出处。Google的EfficientNet进化后，为ImageNet创造了新纪录。这个名为NoisyStudent的新模型将ImageNet图像分类的top-1准确率提高到87.4%，比之前最好的FixResNetXt-10132×48d提高了1个百分点。更神奇的是，在ResNeXt-10132×48d仅达到16.6%top-1准确率的ImageNet-A测试集上，NoisyStudent一举将准确率提升至74.2%。新模型来自GoogleBrain首席科学家QuocV.Le团队，论文第一作者谢其哲毕业于上海交通大学ACM班。他目前正在攻读博士学位。在CMU，是GoogleBrain的学生研究员。实现方法的改进是如此明显，但方法并不复杂。NoisyStudent站在“名师”EfficientNet的肩膀上。第一步是使用来自ImageNet的标记图像训练EfficientNet。EfficientNet是Google的开源扩展模型。它是基于AutoML开发的。它一出道就打破了ImageNet的记录，准确率达到84.4%（top-1）和97.1%（top-5）。10倍。对于这个模型，qubits做了详细的解读：https://mp.weixin.qq.com/s/DCRpBUJE98ckZnrouuVo6Q第二步是利用EfficientNet对未标注图像进行伪Label标注。在这一步中，研究人员选择了谷歌的JFT数据集。这个数据集有300M张图片，是ImageNet的300倍。然后，结合标记图像和伪标记图像来训练更大的学生模型。新的学生模型反过来成为新的老师，迭代这个过程。在伪标签的生成过程中，教师模型不受噪声干扰，以提高伪标签的置信度。但在训练过程中，学生模型会面临来自随机深度、dropout和RandAugment的噪声干扰。这迫使学生模型从伪标签中学习。在训练过程中，EfficientNet也会不断更新。其中，最大的模型EfficientNet-L2需要在2048核的CloudTPUv3Pod上训练3.5天。正如性能表现一开始提到的，这个新的NoisyStudent模型再次刷新了ImageNet的记录。下面我们来看看它的具体战绩：在top-1准确率方面，EfficientNet和NoisyStudent的组合提升了最好的成绩。1个百分点，模型的参数规模远小于Facebook的FixResNetXt-10132×48d。在更严格的测试集上，NoisyStudent的进步更为显着。ImageNet-A测试集包含7500个自然对抗样本，这将导致SOTA模型的准确率大幅下降。例如Facebook知名播放器ResNeXt-10132×48d，只能达到16.6%的top-1准确率。在这个基准测试中，NoisyStudent一举将top-1准确率从16.6%提高到74.2%。Image-C和Image-P测试集包含模糊、雾化、旋转和缩放的图像。换句话说，测试图像与模型的训练数据完全不同。在ImageNet-C上，NoisyStudent将平均错误率从45.7降低到31.2。在ImageNet-P上，NoisyStudent将平均翻转率从27.8降低到16.2。也就是说，这个新模型不仅准确率更高，而且在鲁棒性方面也取得了惊人的进步。据论文作者介绍，模型代码会尽快放出，大家不妨先mark一下~传送门论文地址：https://arxiv.org/abs/1911.04252
