半监督学习

机器学习类型 机器学习模型评估步骤 深度学习数据准备 特征工程 过拟合 解决机器学习问题的一般性流程 机器学习四分支 二分类、多分类以及回归问题都属于监督学习－－目标是学习训练输入和对应标签之间的关系。 监督学习只是机器学习的冰山一角。机器学习主要分为４类:监督学习、非监督学习、半监督学习和强化学习。 监督学习 最常见的机器学习类型---学习输入数据和对应标签之间的映射关系。当下几乎所有的深度学习应用都属于监督学习类型，比如ocr识别，语音识别，图像分类和机器翻译等。 尽管监督学习主要由分类和回归组成，也包括一些其他变种： 生成序列---给定图片，生成一个概括性的标题。序列生成可以看做一系列分类问题； 语法树预测---将句子生成对应的句法树； 物体检测---给定图片，在图片中圈出物体所在的矩形框； 等等。 非监督学习 在没有对应标签的情况下，为了进行数据可视化、数据压缩、数据降噪或数据相关性分析对输入数据进行有趣的数据转换。数据降维和聚类是典型的非监督学习。 半监督学习 一种特殊的监督学习。半监督学习是没有手工标签的监督学习。但是学习过程中仍然有标签(还是监督学习)，但是标签是由启发性算法从输入数据中生成而来。 比如，自编码器就是常见的半监督学习。 强化学习 强化学习中，agent(代理)接收关于环境的信息，然后选择可以最大化reward的动作。比如：神经网络查看网络游戏的屏幕

一、代码 1.代码下载： https://github.com/tkipf/pygcn 代码运行方式： 1）cmd安装：python setup.py install（作用是作者Thomas Kipf已经将写好图卷积网络gcn做成了安装包，安装在python目录下的lib） 2）cmd运行：python train.py 注 PyTorch 0.4 or 0.5 Python 2.7 or 3.6 代码运行结果： 2.代码详解 1）train.py 固定参数设置：epoch，学习率，dropout，隐藏层数，权重衰减（weight decay），随机数 Random seed L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化 model——GCN：特征数，隐藏层数，分类数=标签数+1，dropout数 optimizer（优化）——Adam一般来说是收敛最快的优化器，所以被用的更为频繁 model.train()与model.eval()的用法 接触pytorch时套用别人的框架，会在训练开始之前写上model.trian()，在测试时写上model.eval()。 在经过一番查阅之后，总结如下： 如果模型中有BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()

来源：AI科技评论 编译：青暮 本文介绍了Hinton团队发表在NeurIPS 2020上的一项研究工作，一作是Ting Chen，研究人员首次在ImageNet上尝试了半监督学习的典型范式，并取得了优越的结果。此外，他们还发现，网络的规模越大，需要的标签数据越少。 论文地址：https://arxiv.org/abs/2006.10029 仅使用1％的标签（每类≤13个标签图像），本文提出的方法即可达到73.9％ImageNet top-1准确率，与以前的SOTA相比，标签效率提高了10倍。 使用10％的标签，本文的方法可以达到77.5％的top-1准确率，优于使用100%标签的标准监督训练。 “无监督预训练、监督微调”范式 充分利用少量标记示例和大量未标记示例进行学习是机器学习的一个长期存在的问题。 人们曾经提出一种半监督学习来试图解决这个问题，其中涉及无监督或自监督的预训练，然后进行有监督的微调。 这种方法在预训练期间以与任务无关的方式利用未标记的数据，仅在有监督微调时使用带标签的数据。 这种方法在计算机视觉上很少受关注，但是在自然语言处理中已成为主流。例如，人们首先在未标记的文本（例如Wikipedia）上训练大型语言模型，然后在一些带标记的示例中对该模型进行微调。 基于视觉表示的自监督学习的最新进展，Ting Chen等人对ImageNet上的半监督学习进行了深入研究

从B站数据遭竞品批量爬取，到华住集团信息泄露；从东海航空遭遇大规模恶意占座，到马蜂窝旅游网站事件；从接码平台日赚百万到双十一电商风险爆发.....顶象2018年第三季度业务风险监测数据显示，恶意爬取是Q3所有业务风险中占比最高，排在第二位的是虚假注册，其次是账号盗用、推广作弊及其他、薅羊毛等。 薅羊毛、盗号冒用、虚假注册、恶意爬取、推广作弊等等各种业务不仅给业务平台带来巨大经济损失，损害了用户合法权益，更破坏了商业秩序。 其实，这些风险可以通过模型来防控。例如，在日常生活中，我们会关注每天的天气和气温变化，如果气温骤降，就会做出添衣的决策，如果第二天下雨的概率很大，就会做出带把伞出门的决策，从而达到降低患上感冒的可能性。让我们拥有这种潜意识的就是威胁模型。 所谓威胁建模，就是使用抽象的概念来分析可能存在或出现的风险，并减轻或降低风险的对策过程。通过威胁建模，可以防范上面提到的互联网业务风险；通过威胁建模更可以防范信用欺诈、虚假注册、钓鱼诈骗、信用恶化、贷款逾期等金融欺诈。 威胁建模的必要性与核心价值 完善设计 绝大部分的开发团队都使用系统需求分析文档、软件系统设计文档以及功能模块详细设计文档来规范系统的开发和测试过程；整个开发周期中，只在测试阶段引入渗透测试或者安全代码审计来提高交付的系统的安全性。但是，因为设计阶段就缺少安全部分的分析设计工作

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 想让机器人像人一样思考，似乎一直是个难题。 例如，让智(zhi)能(zhang)机器人去客厅拿个遥控器，结果看到机器人在厨房翻箱倒柜… 好消息是，这个问题现在被CMU解决了。 CMU研究团队打造出了一款拥有人类「常识」的导航机器人，让找东西变得更方便。 这款机器人能利用AI判断家中最可能找到目标物体的地点，从而尽快找到它。 例如，让机器人去拿放在「植物」旁边的遥控器，机器人几乎立即检测出了「植物」盆栽所在的位置，从而检测到遥控器的存在。 项目已被ECCV 2020收录，并获得了居住地目标导航挑战赛的第一名。 一起来看看实现的过程。 让机器人「学点常识」 事实上，以往大部分采用机器学习训练的语义导航机器人，找东西的效果都不太好。 相比于人类潜意识中形成的常识，机器人往往有点“死脑筋”，它们更倾向于去记住目标物体的位置。 但物体所处的场景往往非常复杂，而且彼此间差异很大（正所谓每个人的家，乱得各有章法），如果单纯以大量不同场景对系统进行训练，模型泛化能力都不太好。 于是，相比于用更多的样本对系统进行训练，这次研究者们换了一种思路： 采用半监督学习的方式，使用一种名为semantic curiosity（语义好奇心）的奖励机制对系统进行训练。 训练的核心目的，是让系统基于对语义的

　　机器之心报道 　　 编辑：魔王 　　 Zoubin Ghahramani 曾在一次演讲中表示：在深度学习革命之后，下一个前进的方向会是概率机器学习。 　　近日，英国皇家学会颁发 2021 年米尔纳奖（Royal Society Milner Award and Lecture），剑桥大学信息工程学教授 Zoubin Ghahramani 因其对概率机器学习的基础贡献获得此奖项。 　　 　　该奖项以计算机科学家罗宾 · 米尔纳（Robin Milner）的名字命名，由微软研究院支持，旨在奖励欧洲地区对计算机科学做出卓越贡献的个人，以支持欧洲研究者和研究机构的发展。 　　获奖后，Zoubin Ghahramani 在社交媒体上表达了自己的心情和对合作者的感谢： 　　 　　 Zoubin Ghahramani 其人 　　 　　个人主页：http://mlg.eng.cam.ac.uk/zoubin/ 　　Zoubin Ghahramani 是机器学习领域中的领军学者，尤其对概率机器学习和贝叶斯非参数方法，以及用于可扩展学习的近似变分推断算法的发展做出了基础性贡献。他还是半监督学习方法、主动学习算法和稀疏高斯过程的提倡者之一。他提出的新型无穷维非参数模型（如无穷潜在特征模型）对机器学习领域产生了极大影响。 　　他是剑桥大学信息工程学教授、伦敦 Gatsby 计算神经科学中心的创始人员

　　 　　编译 | 陈大鑫 　　编辑 | 丛 末 　　首度于线上召开的CVPR 2020 会议已经落下帷幕。今年，大会共有1467篇论文被接收，共举办了29个Tutorial、64个Workshop，线上与会者人数达 7600人。大量的论文，加上今年新采用虚拟会议的形式，曾一度让会议浏览器不堪重负（浏览速度非常慢）。 　　为了让大家更好地掌握今年会议的总体研究趋势，一位深度学习专业的博士生Yassine Ouali 专门撰写了一篇博客，总结了一些引起他关注的论文，以呈现今年会议的大致面貌。 　　 我们先来看下 CVPR 2020 官方的相关统计数据： 　　CVPR 往年的增长趋势仍然继续：作者人数增加了20％，提交论文的数量增加了29％，同时为了适应这种扩张，审稿人和领域主席都有增加 　　 　　今年会议的注册人数共有6424人，相比2019年增加了一千多人。在被接收的1467篇论文中，有335篇 Oral 论文。 　　 　　 　　与去年相似，就接受论文而言，中国是CVPR的第一贡献者，其中来自清华大学的作者数量最多，其次是美国（按国家）和Google（按组织）。 　　 　　不出所料，被接收的论文主题多数集中在与学习、识别、检测和理解有关的主题上。但是，人们对诸如高效标签方法（例如，迁移学习），图像合成和机器人感知等相对较新的领域越来越感兴趣

在医疗、金融、法律等领域，高质量的标注数据十分稀缺、昂贵，我们通常面临少样本低资源问题。本文从「文本增强」和「半监督学习」这两个角度出发，谈一谈如何解决少样本困境。 正式介绍之前，我们首先需要思考什么才是一种好的解决少样本困境的方案？本文尝试给出了三个层次的评价策略，我们希望采取相关数据增强或弱监督技术后： 在少样本场景下，比起同等标注量的无增强监督学习模型，性能有较大幅度的提升； 在少样本场景下，能够达到或者逼近充分样本下的监督学习模型性能； 在充分样本场景下，性能仍然有一定提升； 基于此，本文首先总结了nlp中的文本增强技术，然后串讲了近年来9个主流的半监督学习模型，最后重点介绍了来自Google提出的UDA（一种文本增强+半监督学习的结合体）。本文的组织结构为： 1、NLP中的文本增强技术总结 谈起文本增强技术，相信NLPer一定不会陌生，相关方法也是数不胜数。我们通常对标注数据集提供附加的感应偏置进行扩充，如何设计增强变换就变得至关重要。本文尝试从一个新角度——是否条件增强，借鉴文献[1]进行了总结归纳： 1.1 无条件增强 定义：既可以对标注数据进行增强（增强后标签不发生变化），又可以针对无标注数据进行增强，不需要强制引入标签信息。 词汇&短语替换 基于词典 ：主要从文本中选择词汇或短语进行同义词替换，词典可以采取 WordNet 或哈工大词林等。著名的 EDA

　　 　　 编译 | 王雪佩 　　 编辑 | 丛 末 　　NLP中的大多数成功案例都是关于监督学习或半监督学习的。从根本上说，这意味着我们的解析器、情感分类器、QA系统和其他一切都和训练数据一样好。基于这一事实，数据和模型工程，对于 NLP 进一步的发展来说同样重要。这就是为什么顶级会议 ACL 通常还专设了一个“资源和评估”通道，并颁发最佳资源论文奖。 　　然而，创建模型和资源这两项任务所需要的技能集并不相同，往往也来自不同的领域，这两个领域的研究者往往也对“论文应该是怎样的”抱有不同的期望。这就使得审稿人的工作进入一个雷区：如果期望得到一个橘子结果得到的却是一个苹果，那么这个苹果看起来就是错的。以双方最大的善意来看，论文被拒绝的原因可能并非论文实际存在任何缺陷，而是它的基本方法论“不合适”。 　　对于这一点比较失望的作者们在线上或线下展开的讨论，是这篇文章的写作缘由。有一件事很明显：如果作者和审稿人不能就“论文应该是怎么样的”达成一致，那么提交论文就是浪费彼此的时间。作者希望，本文能帮助那些使用数据的人，更好地理解那些制作数据的人，并对他们的论文做出更好的评价。 　　 1 　　 同行评审对资源论文的六大误区 　　让我们从消除一些关于资源论文的误区开始。 注：下面所有引用都来自ACL审稿人对论文的真实评论！ 　　 误区1：资源论文不是科学 　

　　 　　编译 | 陈大鑫 　　编辑 | 丛 末 　　首度于线上召开的CVPR 2020 会议已经落下帷幕。今年，大会共有1467篇论文被接收，共举办了29个Tutorial、64个Workshop，线上与会者人数达 7600人。大量的论文，加上今年新采用虚拟会议的形式，曾一度让会议浏览器不堪重负（浏览速度非常慢）。 　　为了让大家更好地掌握今年会议的总体研究趋势，一位深度学习专业的博士生Yassine Ouali 专门撰写了一篇博客，总结了一些引起他关注的论文，以呈现今年会议的大致面貌。 　　 我们先来看下 CVPR 2020 官方的相关统计数据： 　　CVPR 往年的增长趋势仍然继续：作者人数增加了20％，提交论文的数量增加了29％，同时为了适应这种扩张，审稿人和领域主席都有增加 　　 　　今年会议的注册人数共有6424人，相比2019年增加了一千多人。在被接收的1467篇论文中，有335篇 Oral 论文。 　　 　　 　　与去年相似，就接受论文而言，中国是CVPR的第一贡献者，其中来自清华大学的作者数量最多，其次是美国（按国家）和Google（按组织）。 　　 　　不出所料，被接收的论文主题多数集中在与学习、识别、检测和理解有关的主题上。但是，人们对诸如高效标签方法（例如，迁移学习），图像合成和机器人感知等相对较新的领域越来越感兴趣