监督学习

来源：机器之心 本文约3000字，建议阅读10+分钟Quoc Le：“我原本以为 ImageNet 的 top-1 准确率 85% 就到头了，现在看来，这个上限难以预测。” 近日，谷歌大脑研究科学家、AutoML 鼻祖 Quoc Le 发文表示，他们提出了一种新的半监督学习方法，可以将模型在 ImageNet 上的 top-1 准确率提升到 90.2%，与之前的 SOTA 相比实现了 1.6% 的性能提升。 这一成果刷新了 Quoc Le 对于 ImageNet 的看法。2016 年左右，他认为深度学习模型在 ImageNet 上的 top-1 准确率上限是 85%，但随着这一数字被多个模型不断刷新，Quoc Le 也开始对该领域的最新研究抱有更多期待。而此次 90.2% 的新纪录更是让他相信： ImageNet 的 top-1 还有很大空间。 Quoc Le 介绍称，为了实现这一结果，他们使用了一种名为「元伪标签（Meta Pseudo Label）」的半监督学习方法来训练 EfficientNet-L2。 和伪标签（Pseudo Label）方法类似，元伪标签方法有一个用来在未标注数据上生成伪标签并教授学生网络的教师网络。然而，与教师网络固定的伪标签方法相比，元伪标签方法有一个从学生网络到教师网络的反馈循环，其教师网络可以根据学生网络在标记数据集上的表现进行调整

来源 | 数据实战派 转载自：AI科技评论 原文链接： Hinton最新访谈：无监督胶囊网络、对比学习以及大脑中的反向传播 ​ mp.weixin.qq.com Geoff Hinton 是公认的深度学习先驱。2018 年，他与 Yoshua Bengio、Yann LeCun 共同获得了图灵奖。而在这之前的一年，他提出了一个想法 —— 胶囊网络（Capsule Network）。这是卷积神经网络的替代方案，它考虑了物体在 3D 世界中的姿势，尝试弥补当今计算机视觉模型学习能力上的不足，比如学会从不同的角度来识别同一个物体。 从那之后， Hinton 在学术界的公开活动有所沉寂。直到2020 年 12 月，在 NeurIPS 上，他的团队介绍了一项堆叠式胶囊自动编码器（stacked capsule autoencoders）相关的研究成果。更早之前 2 月的 AAAI 会议上，他谈到，胶囊网络是无监督学习的关键。4 月，Hinton 又重新提出了将反向传播作为人类大脑中的一种学习功能，并介绍了近似反向传播的算法 ——用活动差异表示神经梯度（neural gradient representation by activity differences，简称 NGRAD）。 近日，在播客节目 Eye on AI 中，受到播客主理人、纽约时报资深记者 Craig Smith 的邀请

先来看看自维基百科的定义 什么是人工智能？ 人工智能 （Artificial Intelligence, AI）亦称机器智能，是指由人制造出来的机器所表现出来的智能。通常人工智能是指通过普通电脑程式的手段实现的类人智能技术。该词同时也指研究这样的智能系统是否能够实现，以及如何实现的科学领域。 一般教材中的定义领域是“智能主体（intelligent agent）的研究与设计”，智能主体是指一个可以观察周遭环境并作出行动以达致目标的系统。 约翰·麦卡锡 于1955年的定义是“制造智能机器的科学与工程。” 人工智能的研究是高度技术性和专业的，各分支领域都是深入且各不相通的，因而涉及范围极广。人工智能的研究可以分为几个技术问题。其分支领域主要集中在解决具体问题，其中之一是，如何使用各种不同的工具完成特定的应用程序。 AI的核心问题包括建构能够跟人类似甚至超越的推理、知识、规划、学习、交流、感知、移动和操作物体的能力等。 强人工智能 目前仍然是该领域的长远目标。目前强人工智能已经有初步成果，甚至在一些影像辨识、语言分析、棋类游戏等等单方面的能力达到了超越人类的水平，而且人工智能的通用性代表着，能解决上述的问题的是一样的AI程式，无须重新开发算法就可以直接使用现有的AI完成任务，与人类的处理能力相同，但达到具备思考能力的统合强人工智能还需要时间研究，比较流行的方法包括统计方法

简介 事件检测 事件检测（ED）的目的是检测事件触发器（通常是在实例中引发事件的单词或短语），然后识别它们的特定事件类型。 特征工程，如token级特征和结构化特征。 神经网络模型，将文本语义信息直接嵌入到低维空间中，基于这些特征向量检测事件触发器，采用有监督学习的方法对人类标注数据进行模型训练。 神经网络模型对人工标注数据的需求是实践中的瓶颈。 弱监督学习 参考资料 https://baijiahao.baidu.com/s?id=1594091883249224246&wfr=spider&for=pc 目前广泛采用的弱监督方法充分利用了大量的原始数据，特别是一些具体的信息提取工作，探索了弱监督自动标注ED训练数据的方法，这种弱监督方法可以有效地推广到实际的ED应用中，而不需要大量的劳动。 弱监督方法虽然取得了很好的结果，但仍然存在一些严重的问题： 会受到数据中不可避免的噪声的影响 现有的弱监督ED模型采用复杂的预定义规则和不完全的知识库来自动获取数据，导致数据的自动标注覆盖率低、主题偏差大 本文提出的模型 为了构建一个覆盖范围更广的大规模数据集，减少主题偏差 避免采用复杂的预定义规则和繁重的语义组件分析工具包，提出了一个简单的 基于触发器的潜在实例发现策略 一个假设：如果一个给定的单词作为已知事件实例中的触发器，那么提到这个单词的所有实例也可以表示一个事件 与复杂的规则相比

小白机器学习实用笔记 一.什么是机器学习 机器学习项目流程 特征工程三大步骤：特征抽取、预处理、降维 数据类型 数据集 监督学习与无监督学习 二.用sklearn对特征进行提取（特征抽取） 1： 字典的文字特征提取 2：count方式提取文字特征 3：tf-idf对文字特征提取 打算利用空余时间学习python机器学习，通过写文章的方式来记录学习成果。持续更新中。。。。。 一.什么是机器学习 机器学习是一种数据科学技术，它帮助计算机从现有数据中学习，从而预测未来的行为、结果和趋势 机器学习项目流程 1.根据原始数据明确问题，该做什么 2.特征工程 3找到合适算法，进行训练预测 4模型的评估，判定效果 特征工程三大步骤：特征抽取、预处理、降维 1.特征抽取：将文字、图像等转化为数字 2.预处理：将数字转化为格式统一、符合规范的数值，并且减少特殊值 3.降维：进行数据的筛选，取出最有代表性的数据特征 数据类型 · 散 型 数 据 ： 由 记 录 不 同 类 别 个 体 的 数 目 所 得 到 的 数 据 ， 又 称 计 数 数 据 ， 所 有 这 些 数 据 全 部 都 是 整 数 ， 而 且 不 能 再 细 分 ， 也 不 能 进 一 步 提 高 他 们 的 精 确 度 。 · 连 续 型 数 据 ： 变 量 可 以 在 某 个 范 围 内 取 任 一 数 ， 即 变 量 的 取 值

机器学习 Author：louwill Machine Learning Lab 机器学习数学推导与代码实现30讲已完成，主要包括监督学习模型、无监督学习模型、集成学习模型和概率模型四个大类29个模型和算法。现整理形成pdf版本并开提供开源下载。 获取方式： 扫描关注下方公众号回复 机器学习 即可。 该系列机器学习模型的思维导图如下所示： 完整版的pdf目录如下： 获取方式： 扫描下方二维码关注公众号机器学习实验室 在后台回复 机器学习 即可。 另外本项目也会在后续时间持续改进和整理，完整版的代码会陆续在GitHub上进行更新。 项目地址： https://github.com/luwill/machine-learning-code-writing 本文分享自微信公众号 - NewBeeNLP（NewBeeNLP）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源： oschina 链接： https://my.oschina.net/u/4594481/blog/4833234

机器学习 Author：louwill Machine Learning Lab 机器学习数学推导与代码实现30讲已完成，主要包括监督学习模型、无监督学习模型、集成学习模型和概率模型四个大类29个模型和算法。现整理形成pdf版本并开提供开源下载。 获取方式： 扫描关注下方公众号回复 机器学习 即可。 该系列机器学习模型的思维导图如下所示： 完整版的pdf目录如下： 获取方式： 扫描关注下方公众号回复 机器学习 即可。 另外本项目也会在后续时间持续改进和整理，完整版的代码会陆续在GitHub上进行更新。 项目地址： https://github.com/luwill/machine-learning-code-writing 本文分享自微信公众号 - 机器学习与生成对抗网络（AI_bryant8）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源： oschina 链接： https://my.oschina.net/u/4579551/blog/4667084

机器学习 Author：louwill Machine Learning Lab 机器学习数学推导与代码实现30讲已完成，主要包括监督学习模型、无监督学习模型、集成学习模型和概率模型四个大类29个模型和算法。现整理形成pdf版本并开提供开源下载。 获取方式： 扫描关注下方公众号回复 机器学习 即可。 该系列机器学习模型的思维导图如下所示： 完整版的pdf目录如下： 获取方式： 扫描关注下方公众号回复 机器学习 即可。 另外本项目也会在后续时间持续改进和整理，完整版的代码会陆续在GitHub上进行更新。 项目地址： https://github.com/luwill/machine-learning-code-writing 本文分享自微信公众号 - Python之禅（VTtalk）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源： oschina 链接： https://my.oschina.net/u/151730/blog/4645966

机器学习 Author：louwill Machine Learning Lab 机器学习数学推导与代码实现30讲已完成，主要包括监督学习模型、无监督学习模型、集成学习模型和概率模型四个大类29个模型和算法。现整理形成pdf版本并开提供开源下载。 获取方式： 扫描关注下方公众号回复 机器学习 即可。 该系列机器学习模型的思维导图如下所示： 完整版的pdf目录如下： 获取方式： 扫描下方二维码关注公众号机器学习实验室 在后台回复 机器学习 即可。 另外本项目也会在后续时间持续改进和整理，完整版的代码会陆续在GitHub上进行更新。 项目地址： https://github.com/luwill/machine-learning-code-writing 来源： oschina 链接： https://my.oschina.net/u/4343420/blog/4906484

作者｜耿瑞莹，黎槟华，武玉川，李永彬 单位｜阿里巴巴达摩院Conversational AI 团队 近年来，对话式 AI（Conversational AI）无论在学术界还是在工业界都在迅猛发展，背后的核心驱动力在于，人机对话在各行各业的实际场景中存在着广泛的需求，并且当前的技术进展已经能够大规模落地应用。 以笔者所在的达摩院 Conversational AI 团队为例，过去几年，通过阿里云智能客服（即云小蜜）产品矩阵，将人机对话在政务、银行、保险、医疗、教育、交通、水利、电力等众多行业进行大规模应用，更在 2020 年初疫情爆发初期，打造了全国最大的疫情外呼机器人平台，帮助 27 个省拨打了 1800 多万通电话，协助政府工作人员进行疫情的摸排防控。 在对话式 AI 大规模落地应用的过程中，面临众多技术难题，其中一个是低资源小样本的问题。在有大量标注数据的场景，今天的深度学习模型已经能够将问题的解决的比较好了，但在是标注数据很小的场景中，怎么让机器进行学习呢？面对这个难题，过去两年，我们团队从人类的小样本学习机制入手进行思考和研究： 人类之所以能够从很小的样本中就能进行很好的学习，主要在于两个能力，一个是归纳（induction）能力，即能够从个例中抽象出通用规则，基于此我们提出了归纳网络（Induction Network），已发表在 EMNLP2019； 另一个是记忆