半监督学习

//2019.08.01 机器学习基础入门1-2 1、 半监督学习的数据特征在于其数据集一部分带有一定的"标记"和或者"答案"，而另一部分数据没有特定的标记 ，而更常见的半监督学习数据集产生的原因是各种原因引起的数据缺失。 2、半监督学习的数据集处理方式大多采用： 先用无监督学习算法对数据进行相关的处理，再利用监督学习算法对其进行模型的训练和预测。 3、增强学习： 它是指根据周围的环境进行相应的行动，然后根据采取行动的结果，学习行动的方式 ，其算法得到整体闭环原理图如下图所示： 图1 4、机器学习算法的其他分类方式： (1)在线学习(online learning)和批量学习(离线学习)(batch learning) (2)参数学习(parametric learning)与非参数学习(nonparametric learning) 5、批量学习算法的整体流程如下图所示： 图2 它的优点在于比较简单，它适应环境变化的方式是：进行定时重新批量学习，不过这种方式也有比较大的缺点就是：每次重新批量学习，其运算量巨大；另外在某些环境变化非常迅速的情况下，其实现是基本不可能的。 6、在线学习：它是指在批量学习的基础上将新的产生的数据集输入到机器学习算法的学习资料中进行实时的训练和迭代优化，从而及时地适应环境的变化，其具体原理图如下： 图3 它的优点在于能够及时地反映新的环境的变化

李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料，在YouTube、网易云课堂、B站都能观看到相应的课程视频，接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充。(本笔记配合李宏毅老师的视频一起使用效果更佳！） Lecture 8：Why deep？ 1.Shallow network VS Deep network 在比较浅层网络与深层网络时，要让“矮胖”的网络和“高瘦”的网络的参数数目相等，这样比较才公平,如下图所示 比较结果如下图所示： 从上图可以看出：即便是在深层网络参数较少的情况下，深层网络也会比浅层网络表现好。 这是因为 “深层”其实相当于“模组化” ，第一个隐层是最基本的分类器，第二个隐层是用第一个隐层建造的分类器，以此类推。 2.模组化(Modularization) （1）举个图像识别的例子，识别长发男生、长发女生、短发男生和短发女生，如下，由于长发男生样本少，所以模型训练出来的效果对测试集上的长发男生效果会比较差（样本不平衡） 因此接下来让我们使用模组化的思想解决这一问题，我们先考虑识别基础类别（男女、长发短发），即我们先input一张图片，识别这是长发还是短发，这是男还是女，此时样本比例是相当的，由此训练的效果不会变差，且由两个基础类别的组合可以得到最终的四个类别。

原创：Elesdspline 转载自：AI自然语言处理与知识图谱 原文链接： 综述：关系抽取，挑战与机遇并存！ ​ mp.weixin.qq.com 关系抽取是信息抽取的基本任务之一，目的是识别文本中实体的目标关系，关系抽取对于知识库的构建以及文本的理解十分重要，特别有利于自然语言处理的一些任务，如问答，文本理解等，而且，关系抽取作为知识图谱构建的核心关键，是必不可少的步骤。 大家熟知的传统关系抽取(二元关于抽取，两个实体之间的关系)已经得到了广泛的研究，并且有很多的研究方法已经落地实践，近些年来，对于复杂场景的变化，传统的简单关系抽取已经无法满足实际场景中的复杂应用，慢慢衍生出需要复杂场景的关系抽取任务。 本文是一篇综述文章，总结了目前简单关系抽取的研究进展以及实践方法，对目前已出现的复杂关系抽取任务进行了总结，并介绍了每个任务的定义、最新进展、挑战和机遇。 一、简单关系抽取 简单的关系抽取目的是从文本中识别两个实体之间的关系，例如下图，根据文本，识别出北京和中国的关系为 the capital of，一般这样的关系抽取称之为二元关系抽取( Binary Relation Extraction，BiRE)。 简单关系抽取 目前的方法一般分为 基于监督学习的 BiRE(Supervised BiRE) 、 基于半监督学习的 BiRE(Semi-supervised BiRE) 以及

来源：机器之心 本文约3000字，建议阅读10+分钟Quoc Le：“我原本以为 ImageNet 的 top-1 准确率 85% 就到头了，现在看来，这个上限难以预测。” 近日，谷歌大脑研究科学家、AutoML 鼻祖 Quoc Le 发文表示，他们提出了一种新的半监督学习方法，可以将模型在 ImageNet 上的 top-1 准确率提升到 90.2%，与之前的 SOTA 相比实现了 1.6% 的性能提升。 这一成果刷新了 Quoc Le 对于 ImageNet 的看法。2016 年左右，他认为深度学习模型在 ImageNet 上的 top-1 准确率上限是 85%，但随着这一数字被多个模型不断刷新，Quoc Le 也开始对该领域的最新研究抱有更多期待。而此次 90.2% 的新纪录更是让他相信： ImageNet 的 top-1 还有很大空间。 Quoc Le 介绍称，为了实现这一结果，他们使用了一种名为「元伪标签（Meta Pseudo Label）」的半监督学习方法来训练 EfficientNet-L2。 和伪标签（Pseudo Label）方法类似，元伪标签方法有一个用来在未标注数据上生成伪标签并教授学生网络的教师网络。然而，与教师网络固定的伪标签方法相比，元伪标签方法有一个从学生网络到教师网络的反馈循环，其教师网络可以根据学生网络在标记数据集上的表现进行调整

点击 我爱计算机视觉 标星，更快获取CVML新技术 本文转载自旷视研究院（megviir）。 ICCV 2019 论文如期发榜，旷视科技共有11篇论文被录取，涵盖通用物体检测及数据集、文字检测与识别、半监督学习、分割算法、视频分析、影像处理、行人及车辆再识别、模型压缩、度量学习、强化学习、元学习等众多领域。 本文把 11 篇论文汇在一起，逐篇做了亮点抢先解读。 1、论文名称： Objects365: A Large-scale, High-quality Dataset for Object Detection 论文链接：暂无 开源链接：https://www.objects365.org/overview.html 关键词：物体检测、数据集 在本文中，我们介绍了一个新的大型物体检测数据集Objects365，它有超过60万张图片，365个类别，超过1000万个高质量的边界框。 由精心设计的三步注释管道手动标记，它是迄今为止最大的物体检测数据集（带有完整注释），并为社区建立了更具挑战性的基准。 Objects365可以作为更好的特征学习数据集，用于目标检测和分割等定位敏感任务。Objects365预训练模型明显优于ImageNet预训练模型：在COCO上训练90K / 540K次迭代时AP提高了5.6（42 vs 36.4）/ 2.7（42 vs 39.3）。 同时

作者丨阿尔法杨XDU@知乎 来源丨https://zhuanlan.zhihu.com/p/266513299 导读 异常检测是一个发现“少数派”的过程，本文将目前深度学习的异常检测的热门研究方向进行了分类，并列举了对应的文章，并推荐了值得一读的8篇新颖论文，帮助大家理解学习异常检测这一领域。 一、简介 异常检测一直是机器学习中一个非常重要的子分支，在各种人工智能落地应用例如计算机视觉、数据挖掘、NLP中，异常检测算法都是很热门的研究方向，特别是大数据时代，人工处理数据的速度已经远远赶不上机器了，所以更快地检测数据中的异常情况成为了我们当下非常重要的任务。在深度学习广泛的推广之前，传统的异常检测算法有很多，例如高斯拟合，半监督学习等等，而在深度学习大火之后，人们也开始研究将深度学习应用于各种异常任务中(也就是Deep Anomaly Detection，以下统称DAD)，并取得了很大的成功，本文将把当下该方向热门的研究方向分类并列举了对应的文章，希望能帮助大家更好地理解此方向的研究。 二、异常检测的概念 异常检测，从定义而言就是一种识别不正常情况与挖掘非逻辑数据的技术，也叫outliers。例如在计算机视觉的应用中，有人在抖音发表一个视屏，在边骑车边打电话，那这就是个不符合规范的视屏，我们能否采用一些方式来将其检测出来，再例如在数据挖掘领域中，那异常检测的应用就更广泛了

本文转载自： http://www.huaxiaozhuan.com/ 这是一份机器学习算法和技能的学习手册，可以作为学习工作的参考，都看一遍应该能收获满满吧。 作者华校专，曾任阿里巴巴资深算法工程师，现任智易科技首席算法研究员，《Python 大战机器学习》的作者。 这是作者多年以来学习总结的笔记，经整理之后开源于世。目前还有约一半的内容在陆续整理中，已经整理好的内容放置在此。 曾有出版社约稿，但是考虑到出版时间周期较长，而且书本购买成本高不利于技术广泛传播，因此作者采取开源的形式。 笔记内容仅供个人学习使用，非本人同意不得应用于商业领域。 笔记内容较多，可能有些总结的不到位的地方，欢迎大家探讨。联系方式:huaxz1986@163.com 另有个人在 github 上的一些内容： "《算法导论》的C++实现"代码：https://github.com/huaxz1986/cplusplus-_Implementation_Of_Introduction_to_Algorithms 《Unix 环境高级编程第三版》笔记：https://github.com/huaxz1986/APUE_notes 数学基础 1.线性代数基础 一、基本知识 二、向量操作 三、矩阵运算 四、特殊函数 2.概率论基础 一、概率与分布 二、期望和方差 三、大数定律及中心极限定理 五、常见概率分布 六

各位大佬好，最近我又抑郁了。比上不足，我比上不足，Life is harder. For Recommendation in Deep learning QQ Group 277356808 For Visual in deep learning QQ Group 629530787 I'm here waiting for you 不接受这个网页的私聊/私信！！！ 说了多少次不接受网页的私信与私聊还是有人这样私信，我看了也不回的，您继续就好了。评论一下会死？加群详聊会见光死？老子又不是和你相亲。 有些公号的文章骂我，翻译paper谁不会，老子其实不是秀，我翻译下至少当时“假装理解”了，是不是真的懂不知道，但过后还可以自己再看下啊，不然又要重头看，那样太累了。另外至少我翻译时不会想很多杂乱的破事，至少我可以静下来，别乱指责别人，总有你不了解的事。 写在前面—— 当你迷茫、困惑时，不妨想想来时的路，那么推荐到底是为了解决什么问题呢？在信息流APP中，有视频，文章，gif，小视频等内容，推荐的任务就是将这些分发给每个用户，如果item很少（比如1000以下），这时候其实用不上推荐，过不了两天用户都走了，用户为啥走，这时的主要原因是内容少或者内容很差（没有吸引力，这时候不能怪推荐算法），那么留住用户或者装逼的说法，留存率啥的，第一条关键因素不就是好的内容相当够吗？当item数量上来后

论文标题： Neural Semi-supervised Learning for Text Classification Under Large-Scale Pretraining 论文作者： Zijun Sun, Chun Fan, Xiaofei Sun, Yuxian Meng, Fei Wu, Jiwei Li 论文链接： https://arxiv.org/pdf/2011.08626.pdf 代码链接： https://github.com/ShannonAI/Neural-Semi-Supervised-Learning-for-Text-Classification 概述 半监督学习是综合利用标注数据与未标注数据的学习方法。近日，香侬科技研究了如何 更有效地结合半监督自训练和预训练， 即如何在大规模通用领域预训练的前提下，更好地利用大规模 领域内 无标注语料 与标注语料 ，从而最大限度地提升模型效果。 这涉及到一系列问题： 在大规模通用语料下训练的模型是否仍然需要在 上训练？ 如何利用 ？是像BERT一样预训练，还是用伪标签的自训练方法？ 在不同的 和 条件下，不同的训练方式会有怎样的结果差异？ 通过在文本分类任务上的实验，我们发现： 如果有领域内语料 ，那么模型就不需要再在通用领域语料上预训练； 无论是采用预训练的方式还是自训练的方式，都可以显著提升模型效果；

本文来源于微信公众号 摩登人类 （ID：MrModern），仅学术分享，侵删。 公众号近期荐读： GAN整整6年了！是时候要来捋捋了！ 新手指南综述 | GAN模型太多，不知道选哪儿个？ 数百篇GAN论文已下载好！搭配一份生成对抗网络最新综述！ CVPR2020之MSG-GAN：简单有效的SOTA CVPR2020之姿势变换GAN：图像里谁都会劈叉？ CVPR2020之多码先验GAN：预训练模型如何使用？ 有点夸张、有点扭曲！速览这些GAN如何夸张漫画化人脸！ 见微知细之超分辨率GAN！附70多篇论文下载！ 天降斯雨，于我却无！GAN用于去雨如何？ 脸部转正！GAN能否让侧颜杀手、小猪佩奇真容无处遁形？ 容颜渐失！GAN来预测？ 强数据所难！SSL（半监督学习）结合GAN如何？ 弱水三千，只取你标！AL（主动学习）结合GAN如何？ 异常检测，GAN如何gan ? 虚拟换衣！速览这几篇最新论文咋做的！ 脸部妆容迁移！速览几篇用GAN来做的论文 【1】GAN在医学图像上的生成，今如何？ 01-GAN公式简明原理之铁甲小宝篇 GAN&CV 交流群 ，无论小白还是大佬，诚挚邀您加入！ 一起讨论交流！长按备注【进群】加入： 更多分享、长按关注本公众号： 本文分享自微信公众号 - 机器学习与生成对抗网络（AI_bryant8）。 如有侵权，请联系 support@oschina.cn 删除。