监督分类

第一部分：分类 本书前两部分主要探讨监督学习（supervisedieaming)。在监督学习的过程中，我们只需要给定 输入样本集 ，机器就可以从中推演出指定 目标变量 的可能结果。监督学习相对比较简单,机器只需从输入数据中 预测合适的模型 ，并从中 计算出目标变量的结果 。 监督学习一般使用两种类型的目标变量：标称型和数值型。标称型目标变量的结果只在有限目标集中取值，如真与假、动物分类集合{爬行类、鱼类、哺乳类、两栖类、植物、真菌};数值型目标变量则可以从无限的数值集合中取值，如0.100、42.001、000.743等。 数值型目标变量主要用于回归分析 ，将在本书的第二部分研究， 第一部分主要介绍分类 。 本书的前七章主要研究分类算法，第2 章讲述最简单的分类算法：k-近邻算法，它使用距离矩阵进行分类；第3 章引入了决策树，它比较直观，容易理解，但是相对难于实现；第4 章将讨论如何使用概率论建立分类器；第5 章将讨论Logistic 回归，如何使用最优参数正确地分类原始数据，在搜索最优参数的过程中，将使用几个经常用到的优化算法；第6 章介绍了非常流行的支持向量机；第一部分最后的第7 章将介绍元算法— AdaBoost, 它由若干个分类器构成，此外还总结了第一部分探讨的分类算法在实际使用中可能面对的非均衡分类问题，一旦训练样本某个分类的数据多于其他分类的数据

上次我们讨论了基于结果的两类学习。这篇文章我们将关注一些其他方面的学习：监督还是无监督。当训练用例被标记了正确结果的时候，监督学习方式为怎样改进学习给出一个反馈。这类似于教官教导某个Agent，它的行为是否正确。对无监督学习来说这个目标很难实现，因为缺乏事先确定的分类。 · 监督学习（事先准备好分类） 监督学习是最常见的分类问题，因为目标往往是让计算机去学习我们已经创建好的分类系统。数字识别再一次成为分类学习的常见样本。更一般地说，对于那些有用的分类系统，和容易判断的分类系统，分类学习都适用。在某些情况下，如果Agent能自行计算分类的话，它（Agent）可能不需要事先给出分类。这将在后面成为无监督学习上下文分类的一个例子。 监督学习是训练神经网络和决策树的最常见技术。这两种技术（神经网络和决策树）高度依赖于事先确定的分类系统给出的信息。对于神经网络来说，分类系统用于判断网络的错误，然后调整网络适应它；对于决策树，分类系统用来判断哪些属性提供了最多的信息，如此一来可以用它解决分类系统的问题。我们将会看到这两者（神经网络和决策树）更多的细节，但在目前，它们用预先确定分类方法的形式来“监督”就足够了。 使用隐马尔科夫模型和贝斯网络的语音识别系统也依赖于某些监督的要素，那通常是为了调节系统的参数以便于最小化给定输入中的错误。 请注意这里提到的一个问题：在分类问题中

原文作者：aihorizon.com 原文链接： Machine Learning, Part I: Supervised and Unsupervised Learning 译者： commondata 上次我们讨论了基于结果的两类学习。这篇文章我们将关注一些其他方面的学习：监督还是无监督。当训练用例被标记了正确结果的时候，监督学习方式为怎样改进学习给出一个反馈。这类似于教官教导某个Agent，它的行为是否正确。对无监督学习来说这个目标很难实现，因为缺乏事先确定的分类。 ·监督学习 监督学习是最常见的分类问题，因为目标往往是让计算机去学习我们已经创建好的分类系统。数字识别再一次成为分类学习的常见样本。更一般地说，对于那些有用的分类系统，和容易判断的分类系统，分类学习都适用。在某些情况下，如果Agent能自行计算分类的话，它（Agent）可能不需要事先给出分类。这将在后面成为无监督学习上下文分类的一个例子。 监督学习是训练神经网络和决策树的最常见技术。这两种技术（神经网络和决策树）高度依赖于事先确定的分类系统给出的信息。对于神经网络来说，分类系统用于判断网络的错误，然后调整网络适应它；对于决策树，分类系统用来判断哪些属性提供了最多的信息，如此一来可以用它解决分类系统的问题。我们将会看到这两者（神经网络和决策树）更多的细节，但在目前，它们用预先确定分类方法的形式来“监督”就足够了。

************************************** 注：本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结非常easy遗忘。依据课程加上自己对不明确问题的补充遂有此系列博客。 本系列博客包含线性回归、逻辑回归、神经网络、机器学习的应用和系统设计、支持向量机、聚类、将维、异常检測、推荐系统及大规模机器学习等内容。 ************************************** 机器学习定义 机器学习是人工智能的一个分支，目标是赋予机器一种新的能力。 （专门研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，又一次组织已有的知识结构使之不断改善自身的性能。） 机器学习的应用非常广泛。比如大规模的数据挖掘（网页PV数据。医疗记录等），无人驾驶飞机、汽车，手写手别，大多数的自然语言处理任务。计算机视觉，推荐系统等。 机器学习有非常多定义。广为人知的有例如以下两条： ArthurSamuel (1959): Machine Learning: Field of study that gives computers theability to learn without being explicitly programmed. TomMitchell (1998) :

1. 准备样本 打开ArcMap，加载影像，新建样本图层（面），增加一个ClassName字段，用于存放样本类型。 这里需要注意：点矢量文件的属性表里要有类别名称字段，例如【ClassName】等等，类别的名称要与易康中所建立的分类体系的名称保持一致。 *最好每种样本，放在一个独立的shp中。 2. 在易康中，加载影像和矢量 点击【create new project】，选择影像，选择样本shp作为thematic layer。 如果选择部分影像范围，修改图中1处； 设置NoData，修改2处。 3. 新建分割层 一定采用专题数据参与分割的方式。 尺度Scale parameter的设置数值要大于影像的大小（X方向像元数目*Y方向像元数目） 设置完参数，点【execute】。 4. 利用专题层分类 设置分类层级 命名一定要与样本shp中，【ClassName】字段值一致。 分类 【Thematic Layer Attributes】选择自定义的类别字段。 分类结果转样本 样本转TTA MASK 【Classification】-【Samples】-【Create TTA MASK from Samples…】 然后，保存TTA Mask。 4. 在其他影像中使用TTA Mask 打开影像，选择【Classification】-【Samples】-【Load TTA MASK】

监督学习： 监督学习就是分类，把人们已经处理好的训练样本（即已知数据和对应输出）给计算机，计算机通过规律训练出一个最佳模型，再用这个模型对输入的数据进行分类，得出对应的输出。 从而使计算机具有对未知数据进行分类的功能。 特点：目标明确 需要带标签的训练样本 分类效果很容易评估 非监督学习： 非监督学习没有训练样本，人们把数据输入到计算机，计算机直接对数据进行建模，不用知道类别是什么，只是把相似度高的东西归到一个类。 特点：没有明确目标 不需要带标签的数据 分类效果难以评估 来源： https://www.cnblogs.com/xfbestgood/p/12040398.html

论文地址： Unsupervised Feature Learning via Non-Parametric Instance Discrimination github代码: NCE代码 摘要: 在有标签数据上训练的神经网络分类器能够很好的捕捉图片间的视觉相似性。文章假设：我们能通过训练基于实例（将每一个样本视为单独的类别）的分类器代替基于类别的分类器，得到可以捕捉视觉相似性的特征表达。我们将其总结为 非参数化实例级判别 ，并且通过**噪声对比估计（noise-contrastive estimation）**解决大量实例类别引起的计算困难。 我们的实验证明了，在无监督学习的限制下，我们的方法在ImageNet数据集上超越了当前最好方法。采用更多的训练数据和更先进的网络结构，我们的方法能够进一步提高分类准确率。通过微调学习到的特征，我们能观察到与半监督学习和目标检测任务上相当的结果。同时，我们的非参数化模型十分紧致：每张图片仅需要提取128维的特征，百万量级的图片也仅需要600MB存储空间，使得实际运行时能够很快达成近邻检索的目的。 引言 研究者在本文中提出的无监督学习的创新方法源于对监督学习物体识别结果的一些观察。在 ImageNet 上，top-5 分类误差远低于 top-1 误差 ，并且图像在 softmax 层输出中的预测值排第二的响应类更可能与真实类有视觉关联。 如图

监督学习 监督学习主要为回归问题与分类问题 回归 回归问题是针对于连续型变量 简单讲就是拟合出适当的函数模型y=f(x)来表示已存在的数据点，来使得给定一个新x，预测y。 例如： 分类 分类是针对离散型数据集 即，是与不是，或者说输出的结果是有限的 例如： 无监督学习 无监督学习更像是让机器自学，我们不知道数据集中数据、特征之间的关系，而是要根据聚类或一定的模型得到数据之间的关系。 简单讲就像是会自动根据特征分类 例如： 参考吴恩达机器学习课程 来源： https://www.cnblogs.com/sfencs-hcy/p/12020125.html

本文首发在 easyAI —— 人工智能知识库 什么是监督学习？ 监督学习是机器学习中的一种 训练方式/学习方式 ： 监督学习需要有明确的目标，很清楚自己想要什么结果 。比如：按照“既定规则”来分类、预测某个具体的值… 监督并不是指人站在机器旁边看机器做的对不对，而是下面的流程： 选择一个适合目标任务的数学模型 先把一部分已知的“问题和答案”（训练集）给机器去学习 机器总结出了自己的“方法论” 人类把"新的问题"（测试集）给机器，让他去解答 上面提到的问题和答案只是一个比喻，假如我们想要完成文章分类的任务，则是下面的方式： 选择一个合适的数学模型 把一堆已经分好类的文章和他们的分类给机器 机器学会了分类的“方法论” 机器学会后，再丢给他一些新的文章（不带分类），让机器预测这些文章的分类 监督学习的2个任务：回归、分类 监督学习有2个主要的任务： 回归 分类 **回归：预测连续的、具体的数值。**比如：支付宝里的芝麻信用分数(下面有详细讲解) **分类：对各种事物分门别类，用于离散型（ 什么是离散？ ）预测。**比如： 「回归」案例：芝麻信用分是怎么来的？ 下面要说的是个人信用评估方法—— FICO 。 他跟芝麻信用类似，用来评估个人的信用状况。FICO 评分系统得出的信用分数范围在300～850分之间，分数越高，说明信用风险越小。 下面我们来模拟一下 FICO 的发明过程

导读： 学习究竟是什么？ 简单来说，学习是在外部刺激下记住大部分以往的经验，从而能够实现改变的能力。 因此，机器学习是一种工程方法，对于增加或提高自适应变化的各项技术都十分重要。例如，机械手表是一种非凡的工件，但其结构符合静止定律，当外部变化发生变化时会变得没有任何用处。 学习能力是动物特别是人特有的，根据达尔文的理论，它也是所有物种生存和进化的关键要素。 机器虽然不能自主进化，但似乎也遵循同样的规律。 ▲自适应系统的示意图 Adaptive System: 适应系统 Parameter tuner/ trainer: 参数调整/训练器 Input elements: 输入元素 Feedback: 反馈 Output elements: 输出元素 Enviornment: 环境 机器学习的主要目标是学习、策划和改进数学模型，该数学模型可以使用由环境提供的相关数据进行一次或连续多次的训练得到，利用该数学模型推断未来并做出决定而不需要所有影响因素 （外部因素） 的全部知识。 换句话说，agent （从环境中接收信息的软件实体，选择达到特定目标的最佳行动并观察其结果） 采用统计学习方法，通过确定正确的概率分布，来预测最有可能成功 （具有最小错误） 的动作 （值或决策） 。 我更喜欢使用术语 推断 而不是 预测 ，只是为了避免把机器学习看成是一种现代魔法 （这种看法但并不罕见） 。此外