先验概率

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 1.贝叶斯定理定义 贝叶斯定理是关于随机事件 A 和 B 的条件概率： 其中P(A|B)是在 B 发生的情况下 A 发生的可能性。 在贝叶斯定理中，每个名词都有约定俗成的名称： P(A)是 A 的先验概率，之所以称为“先验”是因为它不考虑任何 B 方面的因素。 P(A|B)是已知 B 发生后 A 的条件概率，也由于得自 B 的取值而被称作 A 的后验概率。 P(B|A)是已知 A 发生后 B 的条件概率，也由于得自 A 的取值而被称作 B 的后验概率。 P(B)是 B 的先验概率，也作标淮化常量（normalizing constant）。 来源： oschina 链接： https://my.oschina.net/pengchanghua/blog/3154594

此为Bayesian先生，敬仰吧，同志们！ 先验 （ A priori ；又译： 先天 ）在 拉丁文 中指“来自先前的东西”，或稍稍引申指“在 经验 之前”。 近代 西方 传统中，认为先验指无需经验或先于经验获得的 知识 。它通常与 后验 知识相比较，后验意指“在经验之后”，需要经验。这一区分来自于中世纪逻辑所区分的两种论证，从原因到结果的论证称为“先验的”，而从结果到原因的论证称为“后验的”。 先验概率是指根据以往经验和分析得到的概率，如全概率公式 中的 ，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的“因” 。后验概率是基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。先验概率和后验概率是相对的。如果以后还有新的信息引入，更新了现在所谓的后验概率，得到了新的概率值，那么这个新的概率值被称为后验概率。 先验概率的分类： 利用过去历史资料计算得到的先验概率，称为客观先验概率； 当历史资料无从取得或资料不完全时，凭人们的主观经验来判断而得到的先验概率，称为主观先验概率。 后验概率是指通过调查或其它方式获取新的附加信息，利用 贝叶斯公式 对先验概率进行修正，而后得到的概率。 先验概率和后验概率的区别： 先验概率不是根据有关自然状态的全部资料测定的，而只是利用现有的材料(主要是历史资料)计算的

概率和统计是同一个东西吗？ 概率：已知模型和参数，求数据 统计：已知数据，求模型和参数 贝叶斯公式在说什么？ 公式里括号后面一项才是 条件概率： 贝叶斯公式： 贝叶斯公式： 理解：有多重情况可能导致事件B发生，现在事件B已经发生了，要求出由于事件A导致事件B发生的可能性大小。 似然函数 概率：在参数theta时 变量x发生的概率有多大 似然：变量x已经发生了，参数等于theta时的似然是多少 一个是关于x的函数、一个是关于theta的函数 常说的概率是指给定参数后，预测即将发生的事件的可能性。 而似然概率正好与这个过程相反，我们关注的量不再是事件的发生概率，而是已知发生了某些事件，我们希望知道参数应该是多少。 最大似然估计，就是在已知观测的数据的前提下，找到使得似然概率最大的参数值。 先验概率后验概率 1）先验：统计历史上的经验而知当下发生的概率； 2）后验：当下条件由因及果的概率； 例子： 1）先验——根据若干年的统计（经验）或者气候（常识），某地方下雨的概率； 2）似然——下雨（果）的时候有乌云（因/证据/观察的数据）的概率，即已经有了果，对证据发生的可能性描述； 3）后验——根据天上有乌云（原因或者证据/观察数据），下雨（结果）的概率； 最大似然估计与最大后验概率估计 最大似然估计：最大化关于theta的函数 最大后验概率估计： 参考：

1. 贝叶斯法则 机器学习的任务：在给定训练数据D时，确定假设空间H中的最佳假设。 最佳假设：一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设。贝叶斯理论提供了一种计算假设概率的方法，基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。 2. 先验概率和后验概率 用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率。先验概率反映了关于h是一正确假设的机会的背景知识如果没有这一先验知识，可以简单地将每一候选假设赋予相同的先验概率。类似地，P(D)表示训练数据D的先验概率，P(D|h)表示假设h成立时D的概率。机器学习中，我们关心的是P(h|D)，即给定D时h的成立的概率，称为h的后验概率。 3. 贝叶斯公式 贝叶斯公式提供了从先验概率P(h)、P(D)和P(D|h)计算后验概率P(h|D)的方法 p(h|D)=P(D|H)*P(H)/P(D) P(h|D)随着P(h)和P(D|h)的增长而增长，随着P(D)的增长而减少，即如果D独立于h时被观察到的可能性越大，那么D对h的支持度越小。 4. 极大后验假设 学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h，h被称为极大后验假设（MAP）确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率，计算式如下: h_map=argmax P(h|D)

信息检索概述 信息检索是当前应用十分广泛的一种技术，论文检索、搜索引擎都属于信息检索的范畴。通常，人们把信息检索问题抽象为：在文档集合D上，对于由关键词w[1] ... w[k]组成的查询串q，返回一个按查询q和文档d匹配度relevance(q, d)排序的相关文档列表D'。 对于这一问题，先后出现了布尔模型、向量模型等各种经典的信息检索模型，它们从不同的角度提出了自己的一套解决方案。布尔模型以集合的布尔运算为基础，查询效率高，但模型过于简单，无法有效地对不同文档进行排序，查询效果不佳。向量模型把文档和查询串都视为词所构成的多维向量，而文档与查询的相关性即对应于向量间的夹角。不过，由于通常词的数量巨大，向量维度非常高，而大量的维度都是0，计算向量夹角的效果并不好。另外，庞大的计算量也使得向量模型几乎不具有在互联网搜索引擎这样海量数据集上实施的可行性。 tf-idf模型 目前，真正在搜索引擎等实际应用中广泛使用的是tf-idf模型。tf-idf模型的主要思想是：如果词w在一篇文档d中出现的频率高，并且在其他文档中很少出现，则认为词w具有很好的区分能力，适合用来把文章d和其他文章区分开来。该模型主要包含了两个因素： 1) 词w在文档d中的词频tf (Term Frequency)，即词w在文档d中出现次数count(w, d)和文档d中总词数size(d)的比值： tf(w,d) =

【转】 模式识别的目标 自动从数据中发现潜在规律，以利用这些规律做后续操作，如数据分类等。 模型选择和参数调节 类似的一族规律通常可以以一种模型的形式为表达，选择合适模型的过程称为模型选择（Model Selection）。模型选择的目的只是选择模型的形式，而模型的参数是未定的。 从数据中获得具体规律的过程称为训练或学习，训练的过程就是根据数据来对选定的模型进行参数调节（Parameter Estimation）的过程，此过程中使用的数据为训练数据集（Training Set）。 对于相同数据源的数据来讲，规律应该是一般的（泛化Generalization），因此评估一个学习结果的有效性可以通过使用测试数据集（Testing Set）来进行的。 预处理 对于大多数现实中的数据集来讲，使用其进行学习之前，通常需要进行预处理，以提高学习精度及降低学习的开销。 以图像识别为例，若以像素做为一个特征，往往一幅图像的特征就能达到几万的数量级，而很多特征（如背景色）都是对于图像辨识起不到太大作用的，因此对于图像数据集，预处理过程通常包括维数约减（特征变换，特征选择），仅保留具有区分度的特征。 文本数据分类任务中，对训练文本也有类似的处理方式，只不过此时扮演特征的是单词，而不是像素值。 监督学习和非监督学习 输入向量（input vector）： ，响应向量（target vector）：

概率与统计 概率：在给定数据生成过程下观测研究数据的性质；模型和参数->数据；推理 统计：根据观测的数据，反向思考其数据的生成过程；数据->模型和参数：归纳 关系：概率论是统计学的数学基础，统计是对概率论的应用 描述统计和推断统计 描述统计：描绘或总结观察量基本情况（均值，方差，中位数，四分位数等） 推断统计：根据得到的部分数据推测总体数据的情况（参数统计，非参数统计，估计量，真实分布，经验分布） “似然”与“概率”： 在英语中：似然（likelihood）和概率（probability）都指事件发生的可能性 在统计中：概率是已知参数，对结果可能性的预测，似然是已知结果，对参数是某一个值的可能性预测。 对于函数 \(P(x|\theta)\) 如果 \(\theta\) 已知且保持不变， \(x\) 是变量，则函数 \(P(x|\theta)\) 称为概率函数，表示不同 \(x\) 出现的概率 如果 \(x\) 已知且保持不变， \(\theta\) 是变量，则函数 \(P(x|\theta)\) 称为似然函数，表示不同 \(\theta\) 下， \(x\) 出现的概率，也记做 \(L(\theta|x)\) 或 \(L(X;\theta)\) 或 \(f(x;\theta)\) 频率学派与贝叶斯学派 频率学派与贝叶斯学派只是解决问题的角度不同 频率学派从「自然」角度出发

看了好多书籍和博客，讲先验后验、贝叶斯公式、两大学派、概率模型、或是逻辑回归，讲的一个比一个清楚 ，但是联系起来却理解不能 基本概念如下 后验概率：一个事件在另一个事件发生条件下的条件概率 \[P(y|x)\] 贝叶斯公式：联合概率公式直接能推导出来的，代表什么意义？不放在具体问题中代表不了任何意义 \[P(y|x) = \frac{{P(x|y)P(y)}}{{P(x)}}\] 拿一个实际的例子，如果用阴天预测是否下雨 把注意力集中在分母，公式可以理解为：阴天会下雨的概率（后验概率），不仅跟下雨并且是阴天的概率有关，还跟不下雨也是阴天的概率有关 \[P(rain|cloudy) = \frac{{P(cloudy|rain)P(rain)}}{{P(cloudy|rain)P(rain) + P)(cloudy|norain)P(norain)}}\] 在很多文献中，将x与y分别描述为“因”和“果”，P(因)即为先验概率，P(因|果)即已经知道结果求原因的概率为后验概率，这里产生了第一个混淆点，在很多现实的例子里，“因”“果”是什么？因为阴天所以下雨？还是因为要下雨所以阴天？ 在上面的例子里，显然只能解释为后者，即这天要下雨是“原因”，阴天是下雨的“结果”，下雨可能引发阴天，也可能引发不阴天。这个理解本身就很别扭。 在英文中，P(y)先验概率、P(y|x)后验概率、P(x|y

最大似然估计、最大后验估计与朴素贝叶斯分类算法 目录 　　一、前言 　　二、概率论基础 　　三、最大似然估计 　　四、最大后验估计 　　五、朴素贝叶斯分类 　　六、参考文献 一、前言 　　本篇文章的主要内容为笔者对概率论基础内容的回顾，及个人对其中一些知识点的解读。另外，在这些上述知识的基础之上，回顾了概率推断的基础内容最大似然估计与最大后验估计。最后，文章的结尾回顾了朴素贝叶斯分类方法的基本流程，并且用一个小案例来帮助读者更好地掌握该方法的基本流程。 二、概率论基础 （1）概率 　　定义[1]：设E是随机实验，S是它的样本空间。对于E的每一个事件A赋予一个实数，记为P(A)，称为事件A的概率，如果集和函数P(.)满足如下条件： 　　（1）非负性：对每一个事件A，有P(A)>=0; 　　（2）规范性：对于必然事件S，有p(S)=1; 　　（3）可列可加性：设A1，A2，...是两两互不相容的事件，即对于AiAj=Ø，i≠j，i，j=1，2，...，有： 　　P(A1∪A2∪A3...)=P(A1)+P(A2)+P(A3)+.... （2）随机变量 　　 一个随机变量指的是一个可以随机地取多种数值的的变量，本文中使用大写字母来表示随机变量，其取值则用小写字母表示，如：随机变量X，可以取值为{x 1 ,x 2 ,x 3 ,...}。随机变量只是一种对随机现象所有可能状态的表示

LDA常见的应用方向： 　　信息提取和搜索(语义分析)；文档分类/聚类、文章摘要、社区挖掘；基于内容的图像聚类、目标识别(以及其他计算机视觉应用)；生物信息数据的应用; 对于朴素贝叶斯模型来说，可以胜任许多文本分类问题，但无法解决语料中一词多义和多词一义的问题--它更像是词法分析，而非语义分析。如果使用词向量作为文档的特征，一词多义和多词一义会造成计算文档间相似度的不准确性。LDA模型通过 增加“主题” 的方式，一定程度的解决上述问题： 　　一个词可能被映射到多个主题中，即，一词多义。多个词可能被映射到某个主题的概率很高，即，多词一义。 LDA涉及的主要问题 1）共轭先验分布 2）Dirichlet分布 3）LDA模型 　　Gibbs采样算法学习参数 共轭先验分布 　　由于x为给定样本，P(x)有时被称为“证据”，仅仅是归一化因子，如果不关心P(θ|x)的具体值，只考察θ取何值时后验概率P(θ|x)最大，则可将分母省去。 　　　　　 　　在贝叶斯概率理论中，如果后验概率P(θ|x)和先验概率p(θ)满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布，同时，先验分布叫做似然函数的共轭先验分布。 Dirichlet分布 　　在学习Dirichlet分布之前先复习以下二项分布的最大似然估计： 　　投硬币试验中，进行N次独立试验，n次朝上，N-n次朝下。假定朝上的概率为p