朴素贝叶斯算法

朴素贝叶斯法是一种基于贝叶斯定定理和特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对于给定的输入$x$，利用贝叶斯定理求出后验概率最大输出的$y$。朴素贝叶斯法对条件概率分布作了条件独立假设，朴素贝叶斯法因为这个较强的假设而得名。 一、基本方法 假设输入空间$x\in \mathbb{R}^{n}$是n维向量的集合，输出空间为类别标签的集合$y= \left \{ c_{1},c_{2},...,c_{k} \right \}$，输入为特征向量$x\in \chi $，输出为类别标签$y\in \gamma$。$X$是定义在输入空间$\chi$上的随机向量。$Y$是定义在输出空间$\gamma$上的随机变量。$P\left ( X,Y \right )$是X和Y的联合概率分布。训练数据集： $T=\left \{ \left ( x_{1}, y_{1} \right ), \left ( x_{2}, y_{2} \right ),...,\left ( x_{N}, y_{N} \right ) \right \}$ 由$P\left ( X,Y \right )$独立同分布产生。 来源： https://www.cnblogs.com/xjlearningAI/p/12437028.html

朴素贝叶斯分类是一种十分简单的分类算法，叫它朴素贝叶斯分类是因为这种方法的思想 真 的很朴素，朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。通俗来说，就好比这么个道理，你在街上看到一个黑人，我问你你猜这哥们哪里来的，你十有八九猜非洲。为什么呢？因为黑人中非洲人的比率最高，当然人家也可能是美洲人或亚洲人，但在没有其它可用信息下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。 朴素贝叶斯分类的正式定义如下： 1、设 为一个待分类项，而每个a为x的一个特征属性。 2、有类别集合 。 3、计算 。 4、如果 ，则 。 那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做： 1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。 2、统计得到在各类别下各个特征属性的条件概率估计。即 。 3、如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导： 因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有： 根据上述分析，朴素贝叶斯分类的流程可以由下图表示（暂时不考虑验证）： 可以看到，整个朴素贝叶斯分类分为三个阶段： 第一阶段——准备工作阶段，这个阶段的任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确定特征属性

文章目录 朴素贝叶斯 朴素贝叶斯学习目标 朴素贝叶斯引入 朴素贝叶斯详解 朴素贝叶斯构造 朴素贝叶斯基本公式 朴素贝叶斯参数估计 特征值为离散值 特征值为稀疏的离散值 特征值为连续值 三种不同的朴素贝叶斯 多项式朴素贝叶斯 伯努利朴素贝叶斯 高斯朴素贝叶斯 朴素贝叶斯流程 输入 输出 流程 朴素贝叶斯优缺点 优点 缺点 小结 朴素贝叶斯   朴素贝叶斯是基于贝叶斯公式与特征条件独立假设的分类方法(注：贝叶斯公式是数学定义，朴素贝叶斯是机器学习算法)。朴素贝叶斯基于输入和输入的联合概率分布，对于给定的输入，利用贝叶斯公式求出后验概率最大的输出 y y y 。即可以总结为以下三点 已知类条件概率密度函数表达式和先验概率 利用贝叶斯公式转换成后验概率 根据后验概率大小进行决策分类 朴素贝叶斯学习目标 朴素贝叶斯构造 朴素贝叶斯基本公式 朴素贝叶斯参数估计 多项式朴素贝叶斯、伯努利朴素贝叶斯、高斯朴素贝叶斯 朴素贝叶斯流程 朴素贝叶斯优缺点 朴素贝叶斯引入   假设现在有一个有两个类别的鸢尾花数据集，并且已经知晓每个数据的分类情况，并且假设数据的分布如下图所示。 # 朴素贝叶斯引入图例 from matplotlib . font_manager import FontProperties import matplotlib . pyplot as plt from sklearn

贝叶斯决策理论 一个数据集，分为两类，其中每个样本的分类我们都已知晓 一个新的点 ( x , y ) (x, y) ( x , y ) ，其分类未知。 按照什么方式来决定将这个点分到一类中呢？我们提出如下规则： 如果 p 1 ( x , y ) > p 2 ( x , y ) p_1(x,y)>p_2(x,y) p 1 ​ ( x , y ) > p 2 ​ ( x , y ) ，则 ( x , y ) (x,y) ( x , y ) 为红色（ p 1 p_1 p 1 ​ ）一类。 如果 p 2 ( x , y ) > p 1 ( x , y ) p_2(x,y)>p_1(x,y) p 2 ​ ( x , y ) > p 1 ​ ( x , y ) ，则 ( x , y ) (x,y) ( x , y ) 为蓝色（ p 2 p_2 p 2 ​ ）一类。 贝叶斯决策理论核心思想 ：选择具有最高概率的决策。 朴素贝叶斯分类 正式定义 设 x = x= x = { a 1 , a 2 , . . . , a m a_1, a_2,...,a_m a 1 ​ , a 2 ​ , . . . , a m ​ } 为一个待分类项， a i a_i a i ​ 为 x x x 的每一个特征属性 有类别集合 C = C= C = { y 1 , y 2 , . . . , y n y_1, y_2

一、朴素贝叶斯综述 \quad 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素贝叶斯分类是贝叶斯分类中最简单也是最常见的一种。 \quad 对于分类问题，其实谁都不陌生，日常生活中我们每天都进行着分类过程，例如，当你看到一个人，你的脑子下意识判断他是学生还是社会上的人；你可能经常会走在路上对身旁的朋友说“这个人一看就很有钱”之类的话，其实这就是一种分类操作。 \quad 既然是贝叶斯分类算法，那么分类的数学描述又是什么呢？ \quad 从数学角度来说，分类问题可做如下定义：已知集合 C = y 1 , y 2 , . . . , y n C=y_1,y_2,...,y_n C = y 1 ​ , y 2 ​ , . . . , y n ​ 和 I = x 1 , x 2 , . . . , x n I=x_1,x_2,...,x_n I = x 1 ​ , x 2 ​ , . . . , x n ​ ，确定映射规则 y = f ( x ) y=f(x) y = f ( x ) ，使得任意 x i ∈ I x_i\in I x i ​ ∈ I 有且仅有一个 y i ∈ C y_i\in C y i ​ ∈ C ，使得 y i ∈ f ( x i ) y_i\in f(x_i) y i ​ ∈ f ( x i ​ ) 成立。 \quad 其中

朴素贝叶斯（Naive Bayesian）分类器可以给出一个最优的类别猜测结果，同时给出这个猜测的概率估计值 优点：在数据较少的情况下仍然有效，可以处理多类别问题 缺点：对于输入数据的准备方式较为敏感 贝叶斯准则 公式    \(\small P(C|X)=\frac{P(X|C)}{P(X)}P(C)\) 以文本分类为例    X 是一个词组 \(\small (x_{0}, x_{1}, x_{2}, ..., x_{n})\)    P(X) 是 X 组词出现的概率    P(C) 是标签 C 出现的概率    P(X|C) 是标签 C 出现 X 词组的概率    P(C|X) 是 X 词组是分类 C 的概率 又有    \(\small P(X) = P(x_{0})*P(x_{1})*P(x_{2})*...*P(x_{n})\)    \(\small P(X|C) = P(x_{0}|C)*P(x_{1}|C)*P(x_{2}|C)*...*P(x_{n}|C)\)    对于特定的 X ，由于 P(X) 是一样的 只需要比较 \(\small P(X|C_{i})P(C_{i})\) 和 \(\small P(X|C_{j})P(C_{j})\) 就可以知道是 X 是属于分类 i 的可能性大还是属于分类 j 的可能性大 并且可以求出 X 属于不同分类的概率 朴素

K近邻分类器(KNN) KNN：通过计算待分类数据点，与已有数据集中的所有数据点的距离。取距离最小的前K个点，根据“少数服从多数“的原则，将这个数据点划分为出现次数最多的那个类别。 sklearn中的K近邻分类器 在sklearn库中，可以使用sklearn.neighbors.KNeighborsClassifier创建一个K近邻分类器，主要参数有： • n_neighbors：用于指定分类器中K的大小( 默认值为5，注意与kmeans的区别 ) • weights：设置选中的K个点对分类结果影响的权重（ 默认值为平均权重“uniform”，可以选择“distance”代表越近的点权重越高，或者传入自己编写的以距离为参数的权重计算函数 ） • algorithm：设置用于计算临近点的方法，因为当数据量很大的情况下计算当前点和所有点的距离再选出最近的k各点，这个计算量是很费时的，所以（ 选项中有ball_tree、kd_tree和brute，分别代表不同的寻找邻居的优化算法，默认值为auto，根据训练数据自动选择 ） K近邻分类器的使用 创建一组数据 X 和它对应的标签 y： >>> X = [[0], [1], [2], [3]] >>> y = [0, 0, 1, 1] 使用 import 语句导入 K 近邻分类器： >>> from sklearn.neighbors

介绍 朴素贝叶斯是监督学习分类算法 分类方法 ：比如已知一个数据集由两类数据（类A,类B）组成，对于一个数据x，如果x属于A的概率大于x属于B的概率，那么x属于A类。 如何计算相关概率 ：使用条件概率进行分类 条件概率 在事件B发生的条件下事件A发生的概率 \(p(A|B)\) \(p(A|B)=\frac{p(A \cap B)}{p(B)}\) \(p(A \cap B)=p(A|B){p(B)}\) \(p(A \cap B)=p(B|A){p(A)}\) 所以可得 贝叶斯公式 \(P(A | B)=\frac{P(A) P(B | A)}{P(B)}\) 其中先验概率p(A)后验概率p(A|B) 所以通过贝叶斯公式求得 \(p(x|A)\) 与 \(p(a|B)\) 的值进行比较，因为公式中p(x)都是相同的，所以实际只需要分别计算 \(P(A) P(x | A)\) 和 \(P(B) P(x | B)\) 比较即可 朴素的含义 在此算法中，是假定每一个属性是独立的，所以对于 \(p(w_{i}|B)\) 可由 \(p(w_{1}|B)p(w_{2}|B)···p(w_{n}|B)\) 得到 朴素贝叶斯实现方式 一种是贝努利模型（只考虑出不出现），一种是多项式模型（考虑属性出现的次数） 一篇贝叶斯算法的推导文章 https://www.cnblogs.com

集成学习 贝叶斯分析 原理 数理统计学处理的信息 总体信息：当前总体样本符合某种分布。比如抛硬币，二项分布。学生的某一科的成绩符合正态分布。 样本信息：通过抽样得到的部分样本的某种分布。 抽样信息=总体信息+样本信息 基于抽样信息进行统计推断的理论和方法称为经典统计学。 先验信息：抽样之前，有关推断问题中未知参数的一些信息，通常来自于经验或历史资料。 基于总体信息+样本信息+先验信息进行统计推断的方法和理论，称为贝叶斯统计学。 贝叶斯定理 贝叶斯定理告诉我们如何交换条件概率中的条件与结果，即如 果已知P(X|H)，要求P(H|X)，那么可以使用下面的计算方法： 朴素贝叶斯(Naive Bayes) 假设：特征X1，X2，X3……之间都是相互独立的 四个模型 高斯模型 有些特征可能是连续型变量，比如说人的身高，物体的长度，这些特征可以转换成离散型的值，比如如果身高在160cm以下，特征值为1；在160cm和170cm之间，特征值为2；在170cm之上，特征值为3。也可以这样转换，将身高转换为3个特征，分别是f1、f2、f3，如果身高是160cm以下，这三个特征的值分别是1、0、0，若身高在170cm之上，这三个特征的值分别是0、0、1。不过这些方式都不够细腻，高斯模型可以解决这个问题。 词袋模型(Bag of Words) TF-IDF 提取词频 (Term Frequency

参考 ： https://cuijiahua.com/blog/2017/11/ml_4_bayes_1.html https://cuijiahua.com/blog/2017/11/ml_5_bayes_2.html https://www.jianshu.com/p/5953923f43f0 一、朴素贝叶斯简介 1.1、朴素贝叶斯算法简介 朴素贝叶斯算法（Naive Bayesian algorithm) ，朴素贝叶斯方法是在贝叶斯算法的基础上进行了相应的简化， 即假定给定目标值时属性之间相互条件独立 。 1.2 贝叶斯定理 贝叶斯决策理论：选择具有高概率的发生情况为最终判断。 根据已知的基础条件概率和部分概率，推断出在某种条件下下的概率。 1.3、条件概率推断 全部事件的概率是 S A 事件的概率是 A B 事件的概率是 B A 的对立事件概率是 A’ A 与 B 共同事件概率是 A∩B 说明：A 与 A‘ 对立且共同构成 S。 我们可以推断出在 B 条件下发生 A 事件的概率，然后一步步把 A∩B 改变成另一个表示 这就是条件概率的计算公式。 如果考虑到下面的全概率公式和上面图片只考虑 A 和 A‘ 条件概率公式可改为： 1.4、全概率推断 若事件 A 1 、 A 2 、……A n 构成一个完备事件组即 且都有正概率，那么对于任意一个事件A，有如下全概率公式： 1.5