贝叶斯定理

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 1.贝叶斯定理定义 贝叶斯定理是关于随机事件 A 和 B 的条件概率： 其中P(A|B)是在 B 发生的情况下 A 发生的可能性。 在贝叶斯定理中，每个名词都有约定俗成的名称： P(A)是 A 的先验概率，之所以称为“先验”是因为它不考虑任何 B 方面的因素。 P(A|B)是已知 B 发生后 A 的条件概率，也由于得自 B 的取值而被称作 A 的后验概率。 P(B|A)是已知 A 发生后 B 的条件概率，也由于得自 A 的取值而被称作 B 的后验概率。 P(B)是 B 的先验概率，也作标淮化常量（normalizing constant）。 来源： oschina 链接： https://my.oschina.net/pengchanghua/blog/3154594

【概率知识】 事件独立 ：当事件x与事件y相互独立时，有 p(x,y|z)=p(x|z)*p(y|z) 成立 即事件x的发生与否 与 事件y发生与否 不相关，完全独立 条件概率 ：p(x|y)表示当事件y发生时候，事件x发生的概率 全概率公式 ：p(x)=p(x|y1)+p(x|y2)..... 一种理解角度是：事件x发生的概率，是出现y1现象时x发生的概率+出现y2现象时x发生的概率..... 而y1,y2,y3....是所有可能出现现象的划分。 联合概率 :p(x,y)=p(x|y)*p(y)=p(y|x)*p(x) 即两个事件同时发生的概率等于相应的条件概率和先验概率乘积 【贝叶斯定理】 案例： p(A)表示一个地区疾病A的发生率 p(B)表示一个人尿检为阳性的概率 p(B|A)表示感染疾病A时尿检为阳性的概率 根据这些求解 当一个人m尿检为阳性时候，患病的概率p(A|B)有多大 ？ 根据日常认知，可以发现的现象： 如果该疾病当地发生率很低，那么m患病的概率可能性很小 如果该疾病当地发生率很高，那么m患病的概率可能性很高 如果患病时尿检为阳性概率很大，那么两者相关性较大，所以尿检为阳性时候，患病的概率也应该较大 如果患病时尿检为阳性概率很小，那么两者不太相关，那么尿检为阳性时，患病概率也不大 大量案例显示人员(无论是否患病)经常出现尿检为阳性

1. 贝叶斯法则 机器学习的任务：在给定训练数据D时，确定假设空间H中的最佳假设。 最佳假设：一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设。贝叶斯理论提供了一种计算假设概率的方法，基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。 2. 先验概率和后验概率 用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率。先验概率反映了关于h是一正确假设的机会的背景知识如果没有这一先验知识，可以简单地将每一候选假设赋予相同的先验概率。类似地，P(D)表示训练数据D的先验概率，P(D|h)表示假设h成立时D的概率。机器学习中，我们关心的是P(h|D)，即给定D时h的成立的概率，称为h的后验概率。 3. 贝叶斯公式 贝叶斯公式提供了从先验概率P(h)、P(D)和P(D|h)计算后验概率P(h|D)的方法 p(h|D)=P(D|H)*P(H)/P(D) P(h|D)随着P(h)和P(D|h)的增长而增长，随着P(D)的增长而减少，即如果D独立于h时被观察到的可能性越大，那么D对h的支持度越小。 4. 极大后验假设 学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h，h被称为极大后验假设（MAP）确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率，计算式如下: h_map=argmax P(h|D)

一、相关概念： 先验概率： 是指事件发生前的预判概念，也可以说是“因”发生的概率，即表示为 P(X)。 条件概率： 是指事件发生后求得反向条件概率，也可以说是在“因”的条件下，“果”发生的概率，即表示为 P(Y|X)。 后验概率： 一个事件发生后导致另一个事件发生的概率，也可以说是在“果”出现的情况下，是什么“因”导致的概率，即表示为P(X|Y)。 似然概率： 类似于条件概率，即“因”的条件下，“果”发生的概率，即表示为 P(Y|X)。 贝叶斯定理：（又称条件概率定理） P ( Y ∣ X ) = P ( X ∣ Y ) ∗ P ( Y ) P ( X ) P(Y|X)=\frac{P(X|Y)*P(Y)}{P(X)} P ( Y ∣ X ) = P ( X ) P ( X ∣ Y ) ∗ P ( Y ) ​ 二、朴素贝叶斯法概述： 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于该模型，对于给定的输入 x x x ，利用贝叶斯定理求出后验概率最大的输出 y y y . 先验概率分布、条件概率分布、联合概率分布： 已知输入空间 χ ⫅ R n \chi \subseteqq R^{n} χ ⫅ R n 为 n n n 维向量的集合，输出空间为类标记集合 γ = { c 1 , c 2 , .

贝叶斯分类是一类分类 算法 的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。这篇文章我尽可能用直白的话语总结一下我们学习会上讲到的朴素贝叶斯分类算法，希望有利于他人理解。 1 分类问题综述 对于分类问题，其实谁都不会陌生，日常生活中我们每天都进行着分类过程。例如，当你看到一个人，你的脑子下意识判断他是学生还是社会上的人；你可能经常会走在路上对身旁的朋友说“这个人一看就很有钱”之类的话，其实这就是一种分类操作。 既然是贝叶斯分类算法，那么分类的数学描述又是什么呢？ 从数学角度来说，分类问题可做如下定义：已知集合 和 ，确定映射规则y = f(x)，使得任意 有且仅有一个 ,使得 成立。 其中C叫做类别集合，其中每一个元素是一个类别，而I叫做项集合（特征集合），其中每一个元素是一个待分类项，f叫做分类器。分类算法的任务就是构造分类器f。 分类算法的内容是要求给定特征，让我们得出类别，这也是所有分类问题的关键。那么如何由指定特征，得到我们最终的类别，也是我们下面要讲的，每一个不同的分类算法，对应着不同的核心思想。 本篇文章，我会用一个具体实例，对朴素贝叶斯算法几乎所有的重要知识点进行讲解。 2 朴素贝叶斯分类 那么既然是朴素贝叶斯分类算法，它的核心算法又是什么呢？ 是下面这个贝叶斯公式： 换个表达形式就会明朗很多

朴素贝叶斯法 朴素贝叶斯(naive bayes) 法是基于贝叶斯定理和特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布，然后基于此分布，对给定的输入 \(x\) 利用贝叶斯定理求其后验概率最大的输出。 一、朴素贝叶斯法的学习 1.1 基本方法 设输入空间 \(\chi \subseteq R^n\) 为n维向量的集合，输出空间维类标记集合 \(Y = \{c_1,c_2,...,c_k\}\) 。输入特征向量 \(x \in \chi\) ,输出为类标记 \(y \in Y\) 。 \(p(x,y)\) 是 \(x,y\) 的联合概率分布。训练的数据集： \[ T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_n\} \] 由 \(p(x,y)\) 独立同分布产生。 要得到训练数据集的联合概率分布，先得学习以下先验概率和条件概率： \[ \begin{align} p(Y=c_k) ,k=1,2,...,K \notag \\ p(X=x|Y=c_k) = p(x^{(1)},x^{(2)},...,x^{(n)}|c_k) \tag{1} \end{align} \] 其中(1)的条件概率分布，不太好算，假设每个 \(x^{(l)}\) 由 \(a\) 个数值可供选择，那么计算(1)式就需要考虑 \(a

朴素贝叶斯 （一）引言 朴素贝叶斯是一种基于贝叶斯定理和特征条件独立性假设的常见的机器学习分类算法。假设给定一个训练数据集，首先根据特征条件独立性假设来学习输入/输出 的联合概率分布（学习得到一个模型）。然后根据该模型，对于给定的新的样本数据（即不在训练数据集中），利用贝叶斯定理求出后验概率最大的输出y（类别标签）。 目标 ：给定样本数据 , 我们要求的是 。其中 代表类别，共有k个类（Mnist数据集k为10）。为了求 ，我们要用到贝叶斯定理来求后验概率。下面先介绍一下贝叶斯定理（先验概率、后验概率）。 （二）理解贝叶斯公式 此部分参考博客（ https://www.cnblogs.com/yemanxiaozu/p/7680761.html ）。 （1） 先验概率： 根据客观事实和统计频率得出的概率。 （2） 后验概率： 某件事情已经发生了，在这个事实下，判断导致这件事情发生的不同原因的概率。后验概率要用先验概率来求解（贝叶斯公式）。 （3） 不正经例子（这个例子造着玩的，觉得有问题请看下个例子或直接转参考的博客）： 有一个班级只有小倪、小杨和班花小柳三人。重磅消息：小柳和班里的某个人交往了。已知小倪（高富帅）各方面都优于小杨且小柳只能被追，问小柳的交往对象是小倪的概率是多少？（假设你回答是80%，那么你已经进行了一次后验概率的猜测。）下面用贝叶斯公式来求解一下：

基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对于给定的输入，利用贝叶斯定理求出后验概率最大的输出 \(y\) 。 朴素贝叶斯法通过训练数据集学习联合概率分布 \(P(X,Y)\) 。具体地，学习以下先验概率分布及条件概率分布。先验概率分布： \[P(Y=c_k),\quad k=1,2,\cdots,K\] 条件概率分布： \[P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\cdots,X^{(n)}=x^{(n)}|Y=c_k),\quad k=1,2,\cdots, K\] 于是基于上面两个概率就学到了联合概率分布。但条件概率分布有指数级数量的参数，其估计实际上是不可行。 朴素贝叶斯法对条件概率分布做了条件独立性假设： \[\begin{aligned} P(X=x|Y=c_k) & =P(X^{(1)}=x^{(1)},\cdots,X^{(n)}=x^{(n)}|Y=c_k) \\ & = \prod \limits_{j=1}^n P(X^{(j)}=x^{(j)}|Y=c_k) \end{aligned}\] 朴素贝叶斯法实际上学习到生成数据的机制，属于生成模型。条件独立假设等于说用于分类的特征在类确定的条件下都是条件独立的。这一假设使朴素贝叶斯法变得简单

带你搞懂朴素贝叶斯分类算法 带你搞懂朴素贝叶斯分类算 贝叶斯分类是一类分类 算法 的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。这篇文章我尽可能用直白的话语总结一下我们学习会上讲到的朴素贝叶斯分类算法，希望有利于他人理解。 1 分类问题综述 对于分类问题，其实谁都不会陌生，日常生活中我们每天都进行着分类过程。例如，当你看到一个人，你的脑子下意识判断他是学生还是社会上的人；你可能经常会走在路上对身旁的朋友说“这个人一看就很有钱”之类的话，其实这就是一种分类操作。 既然是贝叶斯分类算法，那么分类的数学描述又是什么呢？ 从数学角度来说，分类问题可做如下定义：已知集合 和 ，确定映射规则y = f(x)，使得任意 有且仅有一个 ,使得 成立。 其中C叫做类别集合，其中每一个元素是一个类别，而I叫做项集合（特征集合），其中每一个元素是一个待分类项，f叫做分类器。分类算法的任务就是构造分类器f。 分类算法的内容是要求给定特征，让我们得出类别，这也是所有分类问题的关键。那么如何由指定特征，得到我们最终的类别，也是我们下面要讲的，每一个不同的分类算法，对应着不同的核心思想。 本篇文章，我会用一个具体实例，对朴素贝叶斯算法几乎所有的重要知识点进行讲解。 2 朴素贝叶斯分类 那么既然是朴素贝叶斯分类算法

【转】 模式识别的目标 自动从数据中发现潜在规律，以利用这些规律做后续操作，如数据分类等。 模型选择和参数调节 类似的一族规律通常可以以一种模型的形式为表达，选择合适模型的过程称为模型选择（Model Selection）。模型选择的目的只是选择模型的形式，而模型的参数是未定的。 从数据中获得具体规律的过程称为训练或学习，训练的过程就是根据数据来对选定的模型进行参数调节（Parameter Estimation）的过程，此过程中使用的数据为训练数据集（Training Set）。 对于相同数据源的数据来讲，规律应该是一般的（泛化Generalization），因此评估一个学习结果的有效性可以通过使用测试数据集（Testing Set）来进行的。 预处理 对于大多数现实中的数据集来讲，使用其进行学习之前，通常需要进行预处理，以提高学习精度及降低学习的开销。 以图像识别为例，若以像素做为一个特征，往往一幅图像的特征就能达到几万的数量级，而很多特征（如背景色）都是对于图像辨识起不到太大作用的，因此对于图像数据集，预处理过程通常包括维数约减（特征变换，特征选择），仅保留具有区分度的特征。 文本数据分类任务中，对训练文本也有类似的处理方式，只不过此时扮演特征的是单词，而不是像素值。 监督学习和非监督学习 输入向量（input vector）： ，响应向量（target vector）：