贝叶斯分类器

集成学习通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统。如下图显示出集成学习的一般结构：先产生一组“个体学习器”，再用某种策略将它们结合起来，个体学习器通常由一个现有的学习算法从训练数据中产生，例如C4.5决策树算法，BP神经网络等。个体学习器可以是相同的类型的学习器也可以是不同类型的，相同类型的称为“基学习器”，不同的称为“组件学习器”或者“个体学习器”。 集成学习通过将多个学习器进行结合，常可获得单一学习器显著优越的泛化性能，这对“弱学习器”（泛化性能略高于随机猜测的学习器）尤为明显，因此集成学习的很多理论都是针对弱学习器进行的。 考虑二分类的问题$y\in\{-1,+1\}$和真实函数$f$，假定基分类器的错误率为$\epsilon$，即对每个基分类器$h_{i}$有 　　$P(h_{i}\neq f(x))=\epsilon$ 假设集成通过简单投票法结合T个基分类器，若有超过半数的基分类器正确，则集成分类就正确： 　　$H(x)=sign(\sum_{i=1}^{T}h_{i}(x))$ 假设基分类器的错误率相对独立，则由$Hoeffding$不等式可知，集成的错误率为： 上式显示出，随着集成中个体分类器数目T的增大，集成的错误率将指数级下降，最终趋于0。 上面的假设是个体分类器中时相对独立的，在现实任务中，个体学习器是为解决同一个问题训练出来的

Ŀ¼ 专门研究计算机怎样模拟或实现人类的学习行为 ，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。从数据中提取知识，也被称为 预测分析 或 统计学习 。 监督学习 。 样本 或 数据点 ，而每一列(描述这些实体的某一个属性)则被称为 特征 。 1.scikit-learn 简介 ：它是一个开源的python库，包含了目前最先进的机器学习算法，也是最有名的python机器学习库。 用户指南 ： http://scikit-learn.org/stable/user_guide.html 安装scikit-learn ：直接装集合了多个数据分析库的python发行版Anaconda，包含了所需的所有机器学习库。 2.Jupyter notebook 3.NumPy 4.SciPy 5.matplotlib 6.pandas 7.mglearn import sys import pandas as pd import matplotlib import numpy as np import scipy as sp import ipython import sklearn 数据挖掘的大部分时间就花在特征工程上面，是机器学习非常基础而又必备的步骤 。数据预处理、数据清洗、筛选显著特征、摒弃非显著特征等等都非常重要。 交叉验证 选择最好的一个。但如果训练集很小，高偏差

原文地址： https://cloud.tencent.com/developer/article/1526902 数学 1.列举常用的最优化方法 梯度下降法 牛顿法 拟牛顿法 坐标下降法 梯度下降法的改进型如AdaDelta，AdaGrad，Adam，NAG等。 2.梯度下降法的关键点 梯度下降法沿着梯度的反方向进行搜索，利用了函数的一阶导数信息。梯度下降法的迭代公式为： 根据函数的一阶泰勒展开，在负梯度方向，函数值是下降的。只要学习率设置的足够小，并且没有到达梯度为0的点处，每次迭代时函数值一定会下降。需要设置学习率为一个非常小的正数的原因是要保证迭代之后的x k +1位于迭代之前的值x k 的邻域内，从而可以忽略泰勒展开中的高次项，保证迭代时函数值下降。 梯度下降法只能保证找到梯度为0的点，不能保证找到极小值点。迭代终止的判定依据是梯度值充分接近于0，或者达到最大指定迭代次数。 梯度下降法在机器学习中应用广泛，尤其是在深度学习中。AdaDelta，AdaGrad，Adam，NAG等改进的梯度下降法都是用梯度构造更新项，区别在于更新项的构造方式不同。对梯度下降法更全面的介绍可以阅读SIGAI之前的文章“ 理解梯度下降法 ”。 3.牛顿法的关键点 牛顿法利用了函数的一阶和二阶导数信息，直接寻找梯度为0的点。牛顿法的迭代公式为： 其中H为Hessian矩阵，g为梯度向量

简而言之，当训练样本数量不变，分类器性能会随着选取的特征维度的增大先增大后减小，也就是说只有在特征维度数量和样本数量稳定在一定范围内，分类器性能才会最优，但目前没有什么固定的方法去计算二者之间的关系。 过拟合就是当训练样本数量不变，分类器性能随着特征维度增大而减小，直观的体现就是测试训练样本分数很高，一旦测试新数据分数就下降。 如何避免维度灾难？ 那些对于非线性边界能拟合很好的分类器一般泛化性比较差，而且容易过拟合。所以当使用这些分类器时，特征的数量尽量保持小些（如神经网络、KNN、决策树等）。如果使用一些易泛化的分类器，那么特征数可以用多些（如朴素贝叶斯、线性分类器等） 来源： https://www.cnblogs.com/niulang/p/11730849.html

分类问题： 其输入是输入空间 (mathcal{X} = mathbb{R}^d) 中的 (n) 个样本 (x_1, ldots, x_n) ，输出是 离散空间 (mathcal{Y}) 中的某个值。当 (mathcal{Y} = {-1,+1}) 或 ({0,1}) 时，问题是一个二元分类问题；当 (mathcal{Y} = {1, ldots, K}) 时，问题是一个多元分类问题 分类问题使用函数 (f) （即分类器）将输入 (x) 映射到类别 (y) 上，即 (y = f(x)) 近邻分类 其算法思想是，给定数据 ((x_1, y_1), ldots, (x_n, y_n)) ，构造分类器 (hat{f}(x) rightarrow y) 如下： 对于不在训练数据里的 (x​) ，令 (x_i​) 是 ((x_1, y_1), ldots, (x_n, y_n)​) 中离 (x​) “最近”的点 返回其标签 (y_i) 如何衡量 (x) 之间的距离？常见的是使用欧几里得距离，即 [ |!|u-v|!|_2 = left(sum_{i=1}^d (u_i - v_i)^2right)^{frac{1}{2}} ] 当然也可以使用其它衡量方法，例如 (ell_p) 、编辑距离（适用于字符串）或者相关距离（衡量两个向量的相关性） k近邻分类 与原始的近邻分类类似，不过是选取“最近

分类问题： 其输入是输入空间 (mathcal{X} = mathbb{R}^d) 中的 (n) 个样本 (x_1, ldots, x_n) ，输出是 离散空间 (mathcal{Y}) 中的某个值。当 (mathcal{Y} = {-1,+1}) 或 ({0,1}) 时，问题是一个二元分类问题；当 (mathcal{Y} = {1, ldots, K}) 时，问题是一个多元分类问题 分类问题使用函数 (f) （即分类器）将输入 (x) 映射到类别 (y) 上，即 (y = f(x)) 近邻分类 其算法思想是，给定数据 ((x_1, y_1), ldots, (x_n, y_n)) ，构造分类器 (hat{f}(x) rightarrow y) 如下： 对于不在训练数据里的 (x​) ，令 (x_i​) 是 ((x_1, y_1), ldots, (x_n, y_n)​) 中离 (x​) “最近”的点 返回其标签 (y_i) 如何衡量 (x) 之间的距离？常见的是使用欧几里得距离，即 [ |!|u-v|!|_2 = left(sum_{i=1}^d (u_i - v_i)^2right)^{frac{1}{2}} ] 当然也可以使用其它衡量方法，例如 (ell_p) 、编辑距离（适用于字符串）或者相关距离（衡量两个向量的相关性） k近邻分类 与原始的近邻分类类似，不过是选取“最近

sklearn中的朴素贝叶斯分类器 之前 理解朴素贝叶斯 中的结尾对sklearn中的朴素贝叶斯进行了简单的介绍. 此处对sklearn中的则对sklearn中的朴素贝叶斯算法进行比较详细介绍.不过手下还是对朴素贝叶斯本身进行一些补充. 朴素贝叶斯算法 朴素贝叶斯算法的数学基础都是围绕贝叶斯定理展开的,因此这一类算法都被称为朴素贝叶斯算法. 朴素贝叶斯的分类原理是通过对象的先验概率,利用贝叶斯公式计算出后验概率.即对象属于某一类的概率. 选择具有后验概率最大的类作为该对象所属的类.同时朴素–’特征为独同分布’, 同时因为先验概率需要我们先假设一个事件分布的概率分布方式(三种),因此也就有了我们在sklearn中对应的三种朴素贝叶斯算法 - 高斯朴素贝叶斯分类器(默认条件概率分布概率符合高斯分布) - 多项式朴素贝叶斯分类器(条件概率符合多项式分布) - 伯努利朴素贝叶斯分类器(条件概率符合二项分布) 尽管其假设过于简单，但是在很多实际情况下，朴素贝叶斯工作得很好，特别是文档分类和垃圾邮件过滤。 这些工作都要求一个小的训练集来估计必需参数。 同时相比于其他更复杂的方法，朴素贝叶斯学习器和分类器非常快。 分类条件分布的解耦意味着可以独立单独地把每个特征视为一维分布来估计。 这样反过来有助于缓解维度灾难带来的问题。 * 最后总结其特点有以下几个 * - 属性可以离散可以连续 -

原文地址： Naive Bayes Classification With Sklearn 原文作者： Martin Müller 译文出自： 掘金翻译计划 本文永久链接： https://github.com/xitu/gold-miner/blob/master/TODO1/naive-bayes-classifier-sklearn-python-example-tips.md 译者： sisibeloved 校对者： rockyzhengwu Sklearn 中的朴素贝叶斯分类器 用豆机实现的高斯分布 这篇 教程 详述了 朴素贝叶斯分类器 的算法、它的 原理 及 优缺点 ，并提供了一个使用 Sklearn 库 的示例。 背景 以著名的 泰坦尼克号遇难者数据集 为例。它收集了泰坦尼克号的乘客的个人信息以及是否从那场海难中生还。让我们试着用乘客的船票费用来预测一下他能否生还。 泰坦尼克号上的 500 名乘客 假设你随机取了 500 名乘客。在这些样本中， 30% 的人幸存下来。幸存乘客的平均票价为 100 美元 ，而遇难乘客的平均票价为 50 美元 。现在，假设你有了一个新的乘客。你不知道他是否幸存，但你知道他买了一张 30 美元 的票穿越大西洋。请你预测一下这个乘客是否幸存。 原理 好吧，你可能回答说这个乘客 没能幸存 。为什么？因为根据上文所取的乘客的随机子集中所包含的信息

po主最近在学习数据挖掘方面相关算法，今天就在这里总结一下数据挖掘领域的经典算法，同时提供每个算法的详解链接，就当做在这里温习吧。对于熟悉的算法我会有较多的描述，不熟悉的算法可能描述较少，以免误导，但是会贴出学习的链接。由于本人也是资历尚浅，必然有错误的地方，也希望大家能够指出来，我也会改正的，谢谢大家。 数据挖掘方面的算法，主要可以用作 分类，聚类，关联规则，信息检索，决策树，回归分析 等。他们的界限并不是特别的明显，常常有交叉，如聚类算法在一定程度上也是一种分类算法。分类算法比较成熟，并且分支也较多。 这里先介绍两个概念： 监督学习 与 非监督学习 。通俗一点说，如果我们提前设置一些标签，然后对于每个待分类项根据一定规则分类到某些标签，这就是 监督学习 。如果我们提前不知道标签，而是通过一定的统计手段将一定量的数据，分成一个个类别，这就是 非监督学习 ，通常用作“聚类”（不绝对）。当然监督学习常用作分类学习，也可用作回归分析等。 1.K-Means算法 K-Means算法是一种常用的 非监督学习 聚类算法，也常用在图像检索领域，如K-Means+BoF算法。它的作用就是我们可以在不知道有哪些类别的情况下，将数据以K个 类心 ，聚成K个 聚类 。 通常我们会先确定一个相异度度量方法，常用的相异度有， 欧氏距离，曼哈顿距离，马氏距离，余弦距离 等。根据两个数据之间的“距离

本次使用的数据集是比较经典的mnist数据集。它有着 70000 张规格较小的手写数字图片，由美国的高中生和美国人口调查局的职员手写而成。这相当于机器学习当中的“Hello World”，人们无论什么时候提出一个新的分类算法，都想知道该算法在这个数据集上的表现如何。机器学习的初学者迟早也会处理 MNIST 这个数据集。接下来就是进行数据集的读取工作。 加载数据 机器学习的初学者迟早会接触Minist这个数据集，sklearn提供很多辅助函数用于下载流行的数据集 fetch_mldata 出错修改方式 下载文件 https://github.com/amplab/datascience-sp14/raw/master/lab7/mldata/mnist-original.mat 创建一个文件夹：datasets或mldata,将下载好的mnist-original.mat文件放在这个文件夹之中。 fetch_mldata('MNIST original', data_home="datasets")，data_home参数即为从本地导入数据的地址。 from sklearn.datasets import fetch_mldata mnist = fetch_mldata('MNIST original', data_home="sample_data") mnist X, y =