半监督学习

作者：Amit Chaudhary 编译：ronghuaiyang 原文链接： 计算机视觉中的半监督学习 ​ mp.weixin.qq.com 导读 图解半监督的各种方法的关键思想。 计算机视觉的半监督学习方法在过去几年得到了快速发展。目前最先进的方法是在结构和损失函数方面对之前的工作进行了简化，以及引入了通过混合不同方案的混合方法。 在这篇文章中，我会通过图解的方式解释最近的半监督学习方法的关键思想。 1、自训练 在该半监督公式中，对有标签数据进行训练，并对没有标签的数据进行伪标签预测。然后对模型同时进行 ground truth 标签和伪标签的训练。 a. 伪标签 Dong-Hyun Lee[1] 在 2013 年提出了一个非常简单有效的公式 —— 伪标签。 这个想法是在一批有标签和没有标签的图像上同时训练一个模型。在使用交叉熵损失的情况下，以普通的监督的方式对有标签图像进行训练。利用同一模型对一批没有标签的图像进行预测，并使用置信度最大的类作为伪标签。然后，通过比较模型预测和伪标签对没有标签的图像计算交叉熵损失。 总的 loss 是有标签和没有标签的 loss 的加权和。 为了确保模型已经从有标签的数据中学到了足够的知识，在最初的 100 个 epoch 中，αt 被设置为 0。然后逐渐增加到 600 个 epochs，然后保持不变。 b. Noisy Student Xie

行业热词解释 机器学习基本术语 假如我们有一组天气数据，是来自全世界不同国家和地区的每日天气，内容包括最高温度、最低温度、平均湿度、风速之类的相关数据，例如数据的一部分是这样的： 城市 最高温度 最低温度 相对湿度 某时刻风速 A市 36℃ 28℃ 58% 16.7km/h B市 28℃ 17℃ 86% / C市 34℃ 29℃ 39% 20.4km/h 在这组数据中，我们将称A市、B市、C市等市以及其情况的总和称为 数据集 （data set）。表格中的每一行，也就是某城市和它的情况被称为一个 样例 （sample/instance）。表格中的每一列（不包括城市），例如最高温度、最低温度，被称为 特征 （feature/attribute），而每一列中的具体数值，例如36℃ 、28℃，被称为 属性值 （attribute value）。数据中也可能会有 缺失数据 （missing data），例如B市的某时刻风速，我们会将它视作缺失数据。 如果我们想预测城市的天气，例如是晴朗还是阴雨天，这些数据是不够的，除了特征以外，我们还需要每个城市的具体天气情况，也就是通常语境下的结果。在机器学习中，它会被称为 标签 （label），用于标记数据。值得注意的是，数据集中不一定包含标签信息，而这种区别会引起方法上的差别。我们可以给上述示例加上一组标签： 城市 天气 A市 晴朗 B市 阴雨 C市

　　随着学会的队伍不断发展壮大，分支机构的发展愈发完善，丰富多彩的分支活动与学术分享也频频呈现。疫情期间，CAAI认知系统与信息处理专委会积极倡导学会“疫情防控不放松，学习充电不间断”的理念，邀请年轻学者结合本专委会自身领域研究精选相关文献进行研究与再解读，与大家分享《机器人操作学习系列分享：模仿学习》。 　　人类从婴幼儿时期就学会模仿别人来获得许多新技能，这种行为被称为 模仿学习 。我们古代中国就有很多形容人们模仿学习中成语，有如“ 邯郸学步 ”、“ 画虎成狗 ”、“ 鹦鹉学语 ”等都是形容模仿不到位的情况，又如“ 惟妙惟肖 ”、“ 栩栩如生 ”、“ 有模有样 ”等模仿极佳的状态。因此，智能体如何通过模仿学习避免出现那些尴尬的状态，而达到完美的状态，也是亟待研究的课题。 　　 　　目前模仿学习也成为许多研究领域的重要课题，包括心理学、神经科学、人工智能和机器人学。模仿学习是机器学习诸多领域的交叉点。它对应于一个复杂的优化问题，可以用不同的方式形式化，例如结构化输出预测问题或半监督学习问题。模仿学习还与强化学习、在线主动学习、多智能体学习、特征建构等有着密切的关系。 　　 　　从机器学习的角度来看，模仿学习是一种解决控制和顺序决策问题的学习方法。在模仿学习社区内，机器人获得专家的示例数据主要包括运动示教、遥操作、动作捕捉，视觉实例等等。最近，相关研究领域可分为以下子领域：行为克隆

在本文中，微软亚洲研究院的研究员和实习生们提出了一个简单且高效的无监督预训练方法——参数化实例分类（PIC）。和目前最常用的非参数化对比学习方法不同，PIC 采用了类似于有监督图片分类的框架，将每个实例或图片看作一个独立的类别进行实例分类从而进行无监督学习。与 SimCLR 或 MoCo 这类方法相比，PIC 不需要处理潜在的信息泄漏问题，因此结构简单直观。研究者在实验中证明了 PIC 可以在 ImageNet 数据集中取得与这些非参数化对比学习方法相匹配的性能。 机器之心发布，机器之心编辑部。 论文地址： https:// arxiv.org/abs/2006.1461 8 面对着自然世界中越来越多的无标注数据，研究者们都希望找到一种正确的方式，从中学习对于视觉任务有帮助的特征，从而使得各类视觉任务能有进一步的突破，也使各类算法和模型能在实际生产环境中有更加充分的应用。最近的研究已经证明，在一些下游任务上，无监督的视觉特征学习可以取得与有监督学习同等甚至更高的迁移学习性能。 在本文中，微软亚洲研究院的研究员和实习生们提出了一个简单且高效的无监督预训练方法——参数化实例分类（Parametric Instance Classification，简称 PIC）。和目前最常用的非参数化对比学习方法不同，PIC 采用了类似于有监督图片分类的框架

转自：https://github.com/datawhalechina/pumpkin-book https://mp.weixin.qq.com/s/FcwgjS4FXfGJPZEQEz3cVw 南瓜书PumpkinBook 周志华老师的《机器学习》（西瓜书）是机器学习领域的经典入门教材之一，周老师为了使尽可能多的读者通过西瓜书对机器学习有所了解, 所以在书中对部分公式的推导细节没有详述，但是这对那些想深究公式推导细节的读者来说可能“不太友好”，本书旨在对西瓜书里比较难理解的公式加以解析，以及对部分公式补充具体的推导细节，诚挚欢迎每一位西瓜书读者前来参与完善本书：一个人可以走的很快，但是一群人却可以走的更远。 使用说明 南瓜书仅仅是西瓜书的一些细微补充而已，里面的内容都是以西瓜书的内容为前置知识进行表述的，所以南瓜书的最佳使用方法是以西瓜书为主线，遇到自己推导不出来或者看不懂的公式时再来查阅南瓜书。若南瓜书里没有你想要查阅的公式，可以 点击这里 提交你希望补充推导或者解析的公式编号，我们看到后会尽快进行补充。 在线阅读地址 https://datawhalechina.github.io/pumpkin-book/ 目录 第1章 绪论 第2章 模型评估与选择 第3章 线性模型 第4章 决策树 第5章 神经网络 第6章 支持向量机 第7章 贝叶斯分类器 第8章 集成学习 第9章

按照任务类型可分为： 回归模型 ：例如预测明天的股价。 分类模型 ：将样本分为两类或者多类。 结构化学习模型 ：输出的不是向量而是其他 结构。 按照学习理论可分为： 监督学习 ：学习的样本 全部 具有标签，训练网络得到一个最优模型。 无监督学习 ：训练的样本 全部 无标签，例如 聚类样本。 半监督学习 ：训练样本 部分 有标签。 强化学习 ：智能体与环境进行交互获得 奖励 来进行训练的一种模式，环境不会判断是否正确，而是会不断的反馈信号来 评价 智能体的行为。 迁移学习 ：运用已经训练好的模型对新的样本进行学习，主要是解决问题中样本过少的问题。 人工智能更多面试问题关注公众号： 我们都是码农 (allmanong)，或者扫描下方二维码！ 来源： oschina 链接： https://my.oschina.net/u/4386848/blog/3220632

按照任务类型可分为： 回归模型 ：例如预测明天的股价。 分类模型 ：将样本分为两类或者多类。 结构化学习模型 ：输出的不是向量而是其他 结构。 按照学习理论可分为： 监督学习 ：学习的样本 全部 具有标签，训练网络得到一个最优模型。 无监督学习 ：训练的样本 全部 无标签，例如 聚类样本。 半监督学习 ：训练样本 部分 有标签。 强化学习 ：智能体与环境进行交互获得 奖励 来进行训练的一种模式，环境不会判断是否正确，而是会不断的反馈信号来 评价 智能体的行为。 迁移学习 ：运用已经训练好的模型对新的样本进行学习，主要是解决问题中样本过少的问题。 人工智能更多面试问题关注公众号： 我们都是码农 (allmanong)，或者扫描下方二维码！ 来源： oschina 链接： https://my.oschina.net/u/4329790/blog/3220621

半监督学习基准数据集 Semi-Supervised Learning Benchmark Dataset 该数据集出自： Chapelle O, Scholkopf B, Zien A. Semi-supervised learning (chapelle, o. et al., eds.; 2006)[book reviews][J]. IEEE Transactions on Neural Networks, 2009, 20(3): 542-542. 网上链接为： http://olivier.chapelle.cc/ssl-book/benchmarks.html 找了好久，网上个别链接打不开，存在此处方便以后查看。 另发现一个总结半监督数据集的好博客。 Self-Labeled Techniques for Semi-Supervised Learning: Taxonomy, Software and Empirical Study https://sci2s.ugr.es/SelfLabeled 以下为第一个链接的内容： The Benchmark Data Sets For each data set, we provide 12 splits (exception: only 10 splits for data set 8) into labeled

引言 要介绍半监督学习(Semi-supervised learning)需要先介绍下监督学习(Supervised learning)。 监督学习： { ( x r , y ^ r } r = 1 R \{(x^r,\hat{y}^r\}^R_{r=1} { ( x r , y ^ ​ r } r = 1 R ​ 假设有 R R R 笔训练数据，每笔训练数据都有对应的输出 y ^ r \hat{y}^r y ^ ​ r (标签/类别) 半监督学习： { ( x r , y ^ r } r = 1 R , x u u = R R + U \{(x^r,\hat{y}^r\}^R_{r=1},{x^u}^{R+U}_{u=R} { ( x r , y ^ ​ r } r = 1 R ​ , x u u = R R + U ​ 有另外一组没有标签的数据 通常 U > > R U>>R U > > R ,没有标签的数量远大于有标签的 直推学习(Transductive learning) : 学习过程中所考虑的未标记样本恰是待预测数据 归纳学习(Inductive learning)：训练数据中的未标记样本并非待测的数据 为什么做半监督学习？ 数据数据很容器，但是收集有标签的数据很麻烦 人类一直在做半监督学习 假设我们要做分类的项目，要建一个猫和狗的分类器，同时有一大堆有关猫和狗的图片

概述 监督学习指的是训练样本包含标记信息的学习任务，例如：常见的分类与回归算法； 无监督学习则是训练样本不包含标记信息的学习任务，例如：聚类算法。 在实际生活中，常常会出现一部分样本有标记和较多样本无标记的情形，例如：做网页推荐时需要让用户标记出感兴趣的网页，但是少有用户愿意花时间来提供标记。若直接丢弃掉无标记样本集，使用传统的监督学习方法，常常会由于训练样本的不充足，使得其刻画总体分布的能力减弱，从而影响了学习器泛化性能。那如何利用未标记的样本数据呢？ 以下参考博客：https://blog.csdn.net/u011826404/article/details/74358913 未标记样本 1.基本假设 （原文：https://blog.csdn.net/hellowuxia/article/details/66473252 ） 要利用未标记样本，必然要做一些将未标记样本所揭示的数据分布信息与类别标记相联系的假设。 1）平滑假设(Smoothness Assumption)：位于稠密数据区域的两个距离很近的样例的类标签相似，也就是说，当两个样例被稠密数据区域中的边连接时，它们在很大的概率下有相同的类标签；相反地，当两个样例被稀疏数据区域分开时，它们的类标签趋于不同。 2） 聚类假设 (Cluster Assumption)：当两个样例位于同一聚类簇时