分类数据

三、Classification and regression Spark.mllib包为二分类、多分类和回归分析提供了多样的支持工具 linear models（线性模型） 1)Mathematical formulation（数学公式） 很多标准的机器学习方法都可以表述为凸优化问题，例如：找到依赖于变量向量w的凸函数f的极小值的任务（在代码中被称为权重）,通常含有d个输入。形式上，我们可以将其写为优化问题minw∈ℝdf(w),，具有如下形式的目标方程 这里的向量 这里向量xi∈ℝd 是训练数据示例, 其中1≤i≤n, 并且 yi∈ℝ是他们相应的标签, 也是我们想要预测的。我们称方法是线性的如果L(w;x,y) 可以被表示称方程 wTx and y。spark.mllib的几种分类和回归算法都属于此类，在此进行讨论。 目标方程f具有两部分： The objective function f has two parts: 控制模型复杂度的正则化器，以及测量训练数据上模型误差的损失。损失函数L（w ;.）通常是w中的凸函数。固定的正则化参数λ≥0（代码中的regParam）定义了两个目标之间的权衡，这两个目标是最小化损失（即训练误差）和最小化模型复杂度（即避免过度拟合）。 (1)损失方程 下表总结了spark.mllib支持的方法的损失函数及其梯度或子梯度： 注意

第一章答案 该答案为本人转载 ，原著[Ma_Jack](https://blog.csdn.net/u013272948/article/details/71024949) 1.1　什么是数据挖掘？在你的回答中，强调以下问题： (a)它是又一种广告宣传吗？ (b)它是一种从数据库、统计学、机器学习和模式识别发展而来的技术的简单转换或应用吗？ (c)我们提出了一种观点，说数据挖掘是数据库技术进化的结果。你认为数据挖掘也是机器学习研究进化的结果吗？你能基于该学科的发展历史提出这一观点吗？针对统计学和模式识别领域，做相同的事。 (d)当把数据挖掘看做知识发现过程时，描述数据挖掘所涉及的步骤。 数据挖掘不是一种广告宣传，它是一个应用驱动的领域，数据挖掘吸纳了诸如统计学习、机器学习、模式识别、数据库和数据仓库、信息检索、可视化、算法、高性能计算和许多应用领域的大量技术。它是从大量数据中挖掘有趣模式和知识的过程。数据源包括数据库、数据仓库、Web、其他信息存储库或动态的流入系统的数据等。当其被看作知识发现过程时，其基本步骤主要有：(1).数据清理：清楚噪声和删除不一致数据；(2).数据集成：多种数据源可以组合在一起；(3).数据选择：从数据库中提取与分析任务相关的数据；(4).数据变换：通过汇总或者聚集操作，把数据变换和统一成适合挖掘的形式；(5).数据挖掘

文章目录 概念 有什么用？ 分类 物理存储顺序 逻辑存储 数据类型 b+ tree 索引列 存储引擎支持 Innodb Myisam 使用技巧 建索引 用索引 优化分析 常见面试题 参考文章 概念 mysql index官方文档 索引是数据库管理系统中一种数据结构，用以协助快速查询数据库表中数据，典型的索引结构如B+ tree。 有什么用？ MySQL索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度。 打个比方，如果合理的设计且使用索引的MySQL是一辆兰博基尼的话，那么没有设计和使用索引的MySQL就是一个人力三轮车。 拿汉语字典的目录页（索引）打比方，我们可以按拼音、笔画、偏旁部首等排序的目录（索引）快速查找到需要的字。 分类 物理存储顺序 MySQL的 Innodb 存储引擎的索引分为聚集索引和非聚集索引(二级索引)。 聚集索引是Innodb引擎才有的概念。 为什么说是按照物理存储顺序分类呢？因为聚集索引的逻辑顺序就是数据记录的物理顺序，而非聚集索引却不是如此。 举个例子，聚集索引就像是汉语字典中的拼音索引，字典中的字就是按照这个顺序存的。非聚集索引就像是部首索引，相同偏旁的字在索引页上是相邻的，但是真实的位置却不一定是相邻的。类似的例子还有电话簿，大家自行想象一下。 聚集索引怎么选定呢？ 第一个唯一且不能为NULL的列就会被选为聚集索引

1.理解分类与监督学习、聚类与无监督学习。 简述分类与聚类的联系与区别。 （1）分类：给数据贴标签，通过分析已有的数据特征，对数据分成几类，已知分类结果。然后引入新数据对其归类。分类可以提高认知效率，较低认知成本。 （2）聚类：不知分类结果，通过数据一定的相似性，把那些相似的数据聚集在一起。 简述什么是监督学习与无监督学习。 监督学习： （1）每个实例都是由一组特征和一个类别结果。 （2）用有标注的数据训练模型，并产生一个推断的功能。 （3）对于新的实例，可以用于映射出该实例的类别. 无监督学习： （1）我们只知道一些特征，并不知道答案 （2）但不同实例具有一定的相似性 （3）把那些相似的聚集在一起 2.朴素贝叶斯分类算法 实例 利用关于心脏情患者的临床数据集，建立朴素贝叶斯分类模型。 有六个分类变量(分类因子)：性别，年龄、KILLP评分、饮酒、吸烟、住院天数 目标分类变量疾病：–心梗–不稳定性心绞痛 新的实例：–(性别=‘男’，年龄<70, KILLP=‘I'，饮酒=‘是’，吸烟≈‘是”，住院天数<7) 最可能是哪个疾病？ 上传演算过程。 来源： https://www.cnblogs.com/nuan-z/p/9979463.html

文章目录 一、决策树原理 二、查看决策树具体实现过程 三、随机森林 四、实战——这男/女朋友能不能要 一、决策树原理 决策树通过判断特征值是否满足某范围条件（通过if…else对一系列问题进行推导），并选择两条路径中的一条，不断重复这个过程直到最终实现决策。 #下面采用酒的数据进行决策树的建模 #导入numpy import numpy as np #导入画图工具 import matplotlib . pyplot as plt from matplotlib . colors import ListedColormap #导入tree模型和数据集加载工具 from sklearn import tree , datasets #导入数据集拆分工具 from sklearn . model_selection import train_test_split wine = datasets . load_wine ( ) #只选取数据集的前两个特征值 X = wine . data [ : , : 2 ] y = wine . target #将数据集拆分为训练集和测试集 X_train , X_test , y_train , y_test = train_test_split ( X , y ) #现在完成了数据集的拆分，接下来开始用决策树分类器进行分类

中文文档: http://sklearn.apachecn.org/cn/0.19.0/tutorial/basic/tutorial.html 英文文档: http://sklearn.apachecn.org/en/0.19.0/tutorial/basic/tutorial.html GitHub: https://github.com/apachecn/scikit-learn-doc-zh （觉得不错麻烦给个 Star，我们一直在努力） 贡献者: https://github.com/apachecn/scikit-learn-doc-zh#贡献者 使用 scikit-learn 介绍机器学习 | ApacheCN 内容提要 在本节中，我们介绍一些在使用 scikit-learn 过程中用到的 机器学习 词汇，并且给出一些例子阐释它们。 机器学习：问题设置 一般来说，一个学习问题通常会考虑一系列 n 个 样本 数据，然后尝试预测未知数据的属性。 如果每个样本是 多个属性的数据 （比如说是一个多维记录），就说它有许多“属性”，或称 features(特征) 。 我们可以将学习问题分为几大类: 监督学习 , 其中数据带有一个附加属性，即我们想要预测的结果值（ 点击此处 转到 scikit-learn 监督学习页面）。这个问题可以是: 分类 : 样本属于两个或更多个类

原文作者：aihorizon.com 原文链接： Machine Learning, Part I: Supervised and Unsupervised Learning 译者： commondata 监督学习是指我们来教计算机如何“学习”，非监督学习是指让计算机自己学习。监督学习又有两个大的分支，一个是 regression，另一个是 classification。 既然是我们来教计算机如何学习，那就必定有一个“标准答案”。regression 是说，这个标准答案是连续的。 比如说，对三个月销售量的估计。classification 是说，这个标准答案是离散的。比如说，对是否患有cancer的判断。非监督学习就没有标准答案了。比如说，给你一堆数据，让你来分析这堆数据的结构。 上次我们讨论了基于结果的两类学习。这篇文章我们将关注一些其他方面的学习：监督还是无监督。当训练用例被标记了正确结果的时候，监督学习方式为怎样改进学习给出一个反馈。这类似于教官教导某个Agent，它的行为是否正确。对无监督学习来说这个目标很难实现，因为缺乏事先确定的分类。 ·监督学习 监督学习是最常见的分类问题，因为目标往往是让计算机去学习我们已经创建好的分类系统。数字识别再一次成为分类学习的常见样本。更一般地说，对于那些有用的分类系统，和容易判断的分类系统，分类学习都适用。在某些情况下

概述 监督学习指的是训练样本包含标记信息的学习任务，例如：常见的分类与回归算法； 无监督学习则是训练样本不包含标记信息的学习任务，例如：聚类算法。 在实际生活中，常常会出现一部分样本有标记和较多样本无标记的情形，例如：做网页推荐时需要让用户标记出感兴趣的网页，但是少有用户愿意花时间来提供标记。若直接丢弃掉无标记样本集，使用传统的监督学习方法，常常会由于训练样本的不充足，使得其刻画总体分布的能力减弱，从而影响了学习器泛化性能。那如何利用未标记的样本数据呢？ 以下参考博客：https://blog.csdn.net/u011826404/article/details/74358913 未标记样本 1.基本假设 （原文：https://blog.csdn.net/hellowuxia/article/details/66473252 ） 要利用未标记样本，必然要做一些将未标记样本所揭示的数据分布信息与类别标记相联系的假设。 1）平滑假设(Smoothness Assumption)：位于稠密数据区域的两个距离很近的样例的类标签相似，也就是说，当两个样例被稠密数据区域中的边连接时，它们在很大的概率下有相同的类标签；相反地，当两个样例被稀疏数据区域分开时，它们的类标签趋于不同。 2） 聚类假设 (Cluster Assumption)：当两个样例位于同一聚类簇时

传统的 机器学习 技术分为两类，一类是无监督学习，一类是监督学习。 无监督学习只利用未标记的样本集，而监督学习则只利用标记的样本集进行学习。 但在很多实际问题中，只有少量的带有标记的数据，因为对数据进行标记的代价有时很高，比如在生物学中，对某种蛋白质的结构分析或者功能鉴定，可能会花上生物学家很多年的工作，而大量的未标记的数据却很容易得到。 这就促使能同时利用标记样本和未标记样本的半监督学习技术迅速发展起来。 半监督学习理论简述: 半监督学习有两个样本集,一个有标记,一个没有标记.分别记作 Lable={(xi,yi)},Unlabled={(xi)}.并且数量上,L<<U. 1. 单独使用有标记样本 ,我们能够生成有监督分类算法 2. 单独使用无标记样本 ,我们能够生成无监督聚类算法 3. 两者都使用 ,我们希望在1中加入无标记样本,增强有监督分类的效果;同样的,我们希望在2中加入有标记样本,增强无监督聚类的效果. 一般而言,半监督学习侧重于在有监督的分类算法中加入无标记样本来实现半监督分类.也就是在1中加入无标记样本,增强分类效果. 半监督学习的动力,motivation 某人讨论的时候,总是教导我们的词,motivation.一下午四五遍地强调写论文要有motivation.下面说说半监督学习的motivation. 1. 有标记样本难以获取 . 需要专门的人员,特别的设备

1 监督学习 　　利用一组带标签的数据, 学习 从输入到输出的映射 , 然后将这种映射关系应用到未知数据, 达到 分类 或者 回归 的目的 　　(1) 分类: 当输出是离散的, 学习任务为分类任务 　　　　 　　　　输入: 一组有标签的训练数据(也叫观察和评估), 标签 表明了这些数据(观察)的所属类别, 图中"猫"和"狗"就是标签 　　　　输出: 分类模型根据这些训练数据, 训练自己的模型参数, 学习出一个适合这组数据的分类器, 当有新数据(非训练数据)需要进行类别判断, 就可以将这组数据作为输入送给学习好的 分类器 进行判断(得到标签) 　　　　训练集: 训练模型已经标注的数据, 用来建立模型发现规律 　　　　测试集: 已标注的数据, 只不过把标注隐藏了, 再送给训练好的模型, 比对结果与原来的标注, 评判该模型的学习能力　　 　　　　一般来说, 获得了一组标注好的数据, 70%当做训练集, 30%当做测试集 , 另外还有交叉验证法, 自助法来评估学习模型 　　　　评价标准 　　　　　　1) 准确率 　　　　　　　　所有预测对的 　　　　　　　　把正类预测成正类(TP) 　　　　　　　　把负类预测成负类(TN) 　　　　　　　　准确率 = (TP+TN)/总数量 　　　　　　2) 精确率 　　　　　　　　以二分类为例 　　　　　　　　预测为正的样本是真的正样本