imagenet

论文地址： https://arxiv.org/pdf/1911.04252v1.pdf 这篇文章实现了自训练方法，使用部分带标签数据进行训练，在ImageNet上top-1为87.4%。 方法 ： 1. 为有标签和无标签的图片。 2. 使用有标签的数据、标准交叉熵损失训练了一个EfficientNet作为教师网络。 3. 用这个教师网络，在无标签数据上生成伪标签，伪标签可以是soft label(持续分布），或者hard label（one-hot分布）。文章说软标签效果更好。 4. 在有标签和无标签数据下，使用交叉熵训练一个学生网络。 5. 通过把学生网络视为教师网络，迭代以上步骤，生成新的伪标签，并训练学生网络。 软标签和硬标签，举个例子，比如图片A，输入一个分5类的网络。软标签[0.7, 0.3, 0, 0, 0]，硬标签[1, 0, 0, 0, 0]。 算法如下： 算法基于半监督学习，主要的困难在于：训练学生网络的时候添加更多的噪声，在教师网络生成标签时把这些噪声移除。使用的噪声有：dropout，随机深度，数据增广。如果使用数据增广，学生必须保证被转换的图片和未转换的图片有相同的标签。如果使用dropout，教师表现更像模型集成（生成伪标签时不使用dropout），学生表现更像单一模型。 对于Noisy Student，为了更好的效果，学生模型必须足够大以适应更多的数据

在LeNet提出后的将近20年里，神经⽹络⼀度被其他机器学习⽅法超越，如支持向量机。虽然LeNet可以在早期的⼩数据集上取得好的成绩，但是在更大的真实数据集上的表现并不尽如人意。⼀⽅面，神经⽹络计算复杂。虽然20世纪90年代也有过⼀一些针对神经网络的加速硬件，但并没有像之后GPU那样⼤量普及。因此，训练⼀个多通道、多层和有大量参数的卷积神经网络在当年很难完成。另⼀方面，当年研究者还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域，导致复杂的神经网络的训练通常较困难。 我们在上一节看到，神经网络可以直接基于图像的原始像素进行分类。这种称为端到端(end-to- end)的⽅法节省了很多中间步骤。然而，在很长⼀段时间里更流行的是研究者通过勤劳与智慧所设计并⽣成的⼿工特征(特征工程)。这类图像分类研究的主要流程是: 1）获取图像数据集 2）使用已有的特征提取函数生成图像的特征 3）使用机器学习模型对图像的特征分类 当时认为的机器学习部分仅限最后这一步。如果那时候跟机器学习研究者交谈，他们会认为机器学习既􏰁重要又优美。优雅的定理证明了许多分类器的性质。机器学习领域生机勃勃、严谨⽽且极其有用。然而，如果跟计算机视觉研究者交谈，则是另外⼀一幅景象。他们会告诉你图像识别⾥“不可告⼈”的现实是:计算机视觉流程中真正􏰁重要的是数据和特征。也就是说，使用较⼲净的数据集和较有效的特征甚⾄