贝叶斯定理

转载自： 机器学习算法集锦：从贝叶斯到深度学习及各自优缺点 在我们日常生活中所用到的推荐系统、智能图片美化应用和聊天机器人等应用中，各种各样的机器学习和数据处理算法正在尽职尽责地发挥自己的功效。本文筛选并简单介绍一些最常见的算法类别，还为每一个类别列出了一些实际算法并简单介绍了它们的优缺点。 相关连接：https://static.coggle.it/diagram/WHeBqDIrJRk-kDDY/t/categories-of-algorithms-non-exhaustive 目录 正则化算法(Regularization Algorithms) 集成算法(Ensemble Algorithms) 决策树算法(Decision Tree Algorithms) 回归(Regression) 人工神经网络(Artificial Neural Network) 深度学习(Deep Learning) 支持向量机(Support Vector Machine) 降维算法(Dimensionality Reduction Algorithms) 聚类算法(Clustering Algorithms) 基于实例的算法(Instance-based Algorithms) 贝叶斯算法(Bayesian Algorithms) 关联规则学习算法(Association Rule

本文为学习《统计学习方法》、《机器学习实战》朴素贝叶斯相关的笔记。 朴素贝叶斯，是基于 贝叶斯定理 和 特征条件独立假设 的分类方法。 特征条件独立假设是指：给定一个实例的类标签,实例中的每个属性的出现都独立于实例中其他属性的出现。这也是算法被称为朴素贝叶斯的原因。 公式推导 我们有数据集 ，其中输入为特征向量 ，输出为类标记 。朴素贝叶斯要通过数据集学习先验概率和条件概率。 先验概率： 这里代表数据集中的每个类别的概率 条件概率： 这里代表在类别为 时，输入的特征向量中的每一个特征值为对应的 的概率。 对条件概率分布作条件独立性的假设，即特征之间不相关，可以得出 在分类时，对于给定的 ，通过学习到的模型计算得到后验概率 ，将后验概率最大的类作为 的类输出。后验概率计算根据贝叶斯定理进行 ： 将 上上式代入上式，可得 ，代表在后验概率最大时对应的 值。 一个例子 这个例子来自于《机器学习实战》，是根据词条中词汇的出现判断其是否是侮辱性词条。 我们构造以下数据： def loadDataSet(): postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], ['my',

知识点梳理¶ 相关概念（生成模型、判别模型) 先验概率、条件概率 贝叶斯决策理论 贝叶斯定理公式 极值问题情况下的每个类的分类概率 下溢问题如何解决 零概率问题如何解决？ 优缺点 sklearn 自带代码块 from sklearn . naive_bayes import GaussianNB from sklearn . datasets import load_iris import pandas as pd from sklearn . model_selection import train_test_split iris = load_iris ( ) X_train , X_test , y_train , y_test = train_test_split ( iris . data , iris . target , test_size = 0.2 ) clf = GaussianNB ( ) . fit ( X_train , y_train ) print ( "Classifier Score:" , clf . score ( X_test , y_test ) ) 相关概念 生成模型：在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中

1 监督学习 　　利用一组带标签的数据, 学习 从输入到输出的映射 , 然后将这种映射关系应用到未知数据, 达到 分类 或者 回归 的目的 　　(1) 分类: 当输出是离散的, 学习任务为分类任务 　　　　 　　　　输入: 一组有标签的训练数据(也叫观察和评估), 标签 表明了这些数据(观察)的所属类别, 图中"猫"和"狗"就是标签 　　　　输出: 分类模型根据这些训练数据, 训练自己的模型参数, 学习出一个适合这组数据的分类器, 当有新数据(非训练数据)需要进行类别判断, 就可以将这组数据作为输入送给学习好的 分类器 进行判断(得到标签) 　　　　训练集: 训练模型已经标注的数据, 用来建立模型发现规律 　　　　测试集: 已标注的数据, 只不过把标注隐藏了, 再送给训练好的模型, 比对结果与原来的标注, 评判该模型的学习能力　　 　　　　一般来说, 获得了一组标注好的数据, 70%当做训练集, 30%当做测试集 , 另外还有交叉验证法, 自助法来评估学习模型 　　　　评价标准 　　　　　　1) 准确率 　　　　　　　　所有预测对的 　　　　　　　　把正类预测成正类(TP) 　　　　　　　　把负类预测成负类(TN) 　　　　　　　　准确率 = (TP+TN)/总数量 　　　　　　2) 精确率 　　　　　　　　以二分类为例 　　　　　　　　预测为正的样本是真的正样本 　　　　　　　

贝叶斯决策论（Bayesian decision theory） 是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。 具体来说，若我们决策的目标是最小化分类错误率，贝叶斯最优分类器要对每个样本 x，选择能使后验概率 P( c | x )最大的类别 c 标记。在现实任务中后验概率通常难以直接获得。从这个角度来说，机器学习所要实现的是基于有限的训练样本集尽可能准确地估计出后验概率 P( c | x )。大体来说，主要有两种策略：给定x，可通过直接建模P( c | x )来预测c，这样得到的是“判别式模型”，例如，决策树、BP神经网络、支持向量机等等；也可先对联合概率分布P( x,c )建模，然后在由此获得P( c | x )，这样得到的是“生成式模型” 朴素贝叶斯分类器 基于贝叶斯公式来估计后验概率P( c | x )的主要困难在于：类条件概率P( x | c )是所有属性上的联合概率，难以从有限的训练样本直接估计而得。因此朴素贝叶斯分类器采用了“属性条件独立性假设”：对已知类别，假设所有属性相互独立。也就是说，假设每个属性独立的对分类结果发生影响。 sklearn接口 from sklearn.naive_bayes import GaussianNB from sklearn

1.相关概念 生成模型 ：在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。条件概率分布可以由生成模型根据贝叶斯定理形成。常见的基于生成模型算法有高斯混合模型和其他混合模型、隐马尔可夫模型、随机上下文无关文法、朴素贝叶斯分类器、AODE分类器、潜在狄利克雷分配模型、受限玻尔兹曼机 举例 ：要确定一个瓜是好瓜还是坏瓜，用判别模型的方法是从历史数据中学习到模型，然后通过提取这个瓜的特征来预测出这只瓜是好瓜的概率，是坏瓜的概率。 判别模型: 在机器学习领域判别模型是一种对未知数据 y 与已知数据 x 之间关系进行建模的方法。判别模型是一种基于概率理论的方法。已知输入变量 x ，判别模型通过构建条件概率分布 P(y|x) 预测 y 。常见的基于判别模型算法有逻辑回归、线性回归、支持向量机、提升方法、条件随机场、人工神经网络、随机森林、感知器 举例 ：利用生成模型是根据好瓜的特征首先学习出一个好瓜的模型，然后根据坏瓜的特征学习得到一个坏瓜的模型，然后从需要预测的瓜中提取特征，放到生成好的好瓜的模型中看概率是多少，在放到生产的坏瓜模型中看概率是多少，哪个概率大就预测其为哪个。

贝叶斯判定准则： 最小化总体风险，只需在每个样本上选择能使条件风险R(c|x)最小的类别标记 一、极大似然估计 1.估计类的常用策略 ：先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计。即概率模型的训练过程就是参数估计过程。 2.参数估计两大学派 ：频率主义学派和贝叶斯学派。 (1）频率主义 ：参数虽然未知，但却是客观存在的固定值，因此，可通过优化似然函数等准则来确定参数值（最大似然）。 (2）贝叶斯学派 ：参数是未观察到的随机变量，本身也可以有分布，因此，可假定参数服从一个先验分布，然后基于观察到的数据来计算参数的后验分布。 二、朴素贝叶斯 （1）思想： 对于给定的待分类项x，通过学习到的模型计算后验概率分布，即：在此项出现的条件下各个目标类别出现的概率，将后验概率最大的类作为x所属的类别。后验概率根据贝叶斯定理计算。 （2）关键： 为避免贝叶斯定理求解时面临的组合爆炸、样本稀疏问题，引入了条件独立性假设。 即假设各个特征之间相互独立 （3）工作原理： 贝叶斯公式： 　　 对条件概率做了条件独立假设，公式为： （4）工作流程： 1）准备阶段： 确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本。 2）训练阶段： 对每个类别计算在样本中的出现频率p(y)，并且计算每个特征属性划分对每个类别的条件概率p(yi | x

部分内容转自： https://blog.csdn.net/qq_27009517/article/details/80044431 朴素贝叶斯分类（NBC，Naive Bayes Classifier）是以贝叶斯定理为基础并且假设特征条件之间相互独立的方法，先通过已给定的训练集，以特征词之间独立作为前提假设，学习从输入到输出的联合概率分布，再基于学习到的模型，输入X，求出使得后验概率最大的输出Y。 设样本数据集 ，对应样本数据的特征属性集为 ，类别集 ，即D可以分为 m种类别。其中 相互独立同分布且随机，那么Y的先验概率为P(Y)，Y的后验概率为P(Y|X)。有贝叶斯定理可以得到，后验概率可以由证据P(X)，先验概率P(Y)，条件概率P(X|Y)计算得出，公式如下所示： 换成分类的示意表达式： 朴素贝叶斯基于各个特征之间相互独立，在给定，可以将上式进一步写为 因为P(X)的值是固定不变的，因此在比较后验概率时，只需要比较上式的分子即可。因此可以得到一个样本数据属于类别 的朴素贝叶斯计算如下图所示： 1.朴素贝叶斯-多项式 在多项式模型中， 设某文档 ， 是该文档中出现过的单词，允许重复。 则先验概率P(c)= 类c下单词总数 / 整个训练样本的单词总数 条件概率P( |c)=(类c下单词tk在各个文档中出现过的次数之和+1) / (类c下单词总数+m)。在这里，m=|V|, p

统计学习方法—朴素贝叶斯法 朴素贝叶斯法 原理 相关公式 朴素贝叶斯基本方法 朴素贝叶斯法 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。 朴素贝叶斯法实际上学习到生成数据的机制，所以属于 生成模型 。 原理 对于给定的训练数据集，首先基于 特征条件独立假设 学习输入/输出的 联合概率分布 ；然后基于此模型，对给定的输入x，利用 贝叶斯定理 求出后验概率最大的输出y。 相关公式 1.条件概率公式： P ( X ∣ Y ) = P ( X , Y ) P ( Y ) ， P ( Y ∣ X ) = P ( X , Y ) P ( X ) P(X|Y) =\frac{ P(X,Y)}{P(Y)}， P(Y|X) =\frac{ P(X,Y)}{P(X)} P ( X ∣ Y ) = P ( Y ) P ( X , Y ) ​ ， P ( Y ∣ X ) = P ( X ) P ( X , Y ) ​ 2.条件独立公式，若X，Y相互独立则： P ( X , Y ) = P ( X ) P ( Y ) P(X,Y) = P(X)P(Y) P ( X , Y ) = P ( X ) P ( Y ) 3.全概率公式： P ( X ) = ∑ k P ( X ∣ Y = Y k ) P ( Y k ) ， 其 中 ∑ k P ( Y k ) = 1 （ 完 备 事 件 组 ） P(X

这里写自定义目录标题 概率和统计是一个东西吗？ 概率函数与似然函数 最大似然估计（MLE） 最大后验概率估计 最大后验估计的例子 贝叶斯派观点 VS 频率派观点 贝叶斯定理 朴素贝叶斯分类器 朴素贝叶斯分类器实例 贝叶斯网络 贝叶斯网络的结构形式 因子图 从贝叶斯网络来观察朴素贝叶斯 概率和统计是一个东西吗？ 概率（probabilty）和统计（statistics）看似两个相近的概念，其实研究的问题刚好相反。 概率研究的问题是，已知一个模型和参数，怎么去预测这个模型产生的结果的特性（例如均值，方差，协方差等等）。 举个例子，我想研究怎么养猪（模型是猪），我选好了想养的品种、喂养方式、猪棚的设计等等（选择参数），我想知道我养出来的猪大概能有多肥，肉质怎么样（预测结果）。 统计是，有一堆数据，要利用这堆数据去预测模型和参数。 仍以猪为例。现在我买到了一堆肉，通过观察和判断，我确定这是猪肉（这就确定了模型。在实际研究中，也是通过观察数据推测模型是／像高斯分布的、指数分布的、拉普拉斯分布的等等），然后，可以进一步研究，判定这猪的品种、这是圈养猪还是跑山猪还是网易猪，等等（推测模型参数）。 一句话总结： 概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。 显然， 本文解释的MLE(最大似然估计)和MAP（最大后验估计）都是统计领域的问题。它们都是用来推测参数的方法(不是推测模型