先验概率

【机器学习基本理论】详解最大后验概率估计（MAP）的理解 https://blog.csdn.net/weixin_42137700/article/details/81628065 最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种参数估计方法，如果不理解这两种方法的思路，很容易弄混它们。 下文将详细说明MLE和MAP的思路与区别。上篇讲解了MLE的相应知识。【机器学习基本理论】详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解 下面讲解最大后验概率MAP的相关知识。 1最大后验概率估计 最大似然估计是求参数theta, 使似然函数p(x0|theta)最大。 最大后验概率估计则是想求theta使得p(x0|theta)p(theta)最大。 求得的theta不单单让似然函数大，theta自己出现的先验概率也得大。 （这有点像正则化里加惩罚项的思想，不过正则化里是利用加法，而MAP里是利用乘法） MAP其实是在最大化p(theta|x0)=p(x0|theta)p(theta)/p(x0),不过因为x0是确定的（即投出的“反正正正正反正正正反”），p(x0)是一个已知值，所以去掉了分母p(x0) （假设

朴素贝叶斯法 朴素贝叶斯（naïve Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法，是一种生成模型。 朴素贝叶斯法的学习与分类 基本方法 朴素贝叶斯法通过训练数据集学习联合概率分布 P(X,Y)。具体地，学习先验概率分布 P（Y=c k ）及条件概率分布 P（X=x|Y=c k ）。于是得到联合概率分布 P(X=x,Y=y)=P（X=x|Y=y）• P（Y=y） 先验概率：事件发生前的预判概率，一般都是单独事件概率。如 P（Y）或 P（X） 后验概率：事件发生后求的反向条件概率；或者说，基于先验概率求得的反向条件概率。如 P（Y|X） 条件概率：一个事件发生后另一个事件发生的概率。如 P（X|Y） 实例：假设y是文章种类，是一个枚举值；x是向量，表示文章中各个单词的出现次数。 在拥有训练集的情况下，显然除了后验概率P(y|x)中的x来自一篇新文章无法得到，p(x),p(y),p(x|y)都是可以在抽样集合上统计出的。 两者之间的关系：先验概率是获得后验概率的前提。 朴素贝叶斯法对条件概率分布作了条件独立性的假设： 朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验概率分布P(Y＝c k |X＝x)，将后验概率最大的类作为x的类输出。后验概率计算根据贝叶斯定理进行： 于是，朴素贝叶斯分类器可表示为 ： 注意到，在上式中分母对所有C k 都是相同的，所以

参考 http://blog.csdn.net/c406495762 1.了解概率论的相关知识（条件概率、全概率、先验概率，后验概率等） 2.朴素贝叶斯 将实例分到 后验概率最大的类（等价于期望风险最小化，看绿皮书61页），这就是原理 3.后验概率: B事件发生之后，我们对A事件概率的重新评估。P(A|B) 4.在实际的编程中，在做分类的饿时候，我们只是需要比较概率的大小，而两者分母一致，故只需要计算分子的大小。 5.朴素贝叶斯，特征之间是相互独立的。 来源： https://blog.csdn.net/weixin_43384504/article/details/99692660

声明：本文为原创文章，发表于nebulaf91的csdn博客。欢迎转载，但请务必保留本信息，注明文章出处。 本文作者: nebulaf91 本文原始地址：http://blog.csdn.net/u011508640/article/details/72815981 频率学派与贝叶斯派 在说极大似然估计（Maximum Likelihood Estimate）与最大后验概率估计（Maximum A Posteriori estimation）之前，不得不说对于概率看法不同的两大派别频率学派与贝叶斯派。他们看待世界的视角不同，导致他们对于产生数据的模型参数的理解也不同。 ① 频率学派 他们认为世界是确定的。他们直接为事件本身建模，也就是说事件在多次重复实验中趋于一个稳定的值p，那么这个值就是该事件的概率。 他们认为模型参数是个定值，希望通过类似解方程组的方式从数据中求得该未知数。这就是频率学派使用的参数估计方法-极大似然估计（MLE），这种方法往往在大数据量的情况下可以很好的还原模型的真实情况。 ② 贝叶斯派 他们认为世界是不确定的，因获取的信息不同而异。假设对世界先有一个预先的估计，然后通过获取的信息来不断调整之前的预估计。 他们不试图对事件本身进行建模，而是从旁观者的角度来说。因此对于同一个事件，不同的人掌握的先验不同的话，那么他们所认为的事件状态也会不同。