条件概率

贝叶斯决策论（Bayesian decision theory） 是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。 具体来说，若我们决策的目标是最小化分类错误率，贝叶斯最优分类器要对每个样本 x，选择能使后验概率 P( c | x )最大的类别 c 标记。在现实任务中后验概率通常难以直接获得。从这个角度来说，机器学习所要实现的是基于有限的训练样本集尽可能准确地估计出后验概率 P( c | x )。大体来说，主要有两种策略：给定x，可通过直接建模P( c | x )来预测c，这样得到的是“判别式模型”，例如，决策树、BP神经网络、支持向量机等等；也可先对联合概率分布P( x,c )建模，然后在由此获得P( c | x )，这样得到的是“生成式模型” 朴素贝叶斯分类器 基于贝叶斯公式来估计后验概率P( c | x )的主要困难在于：类条件概率P( x | c )是所有属性上的联合概率，难以从有限的训练样本直接估计而得。因此朴素贝叶斯分类器采用了“属性条件独立性假设”：对已知类别，假设所有属性相互独立。也就是说，假设每个属性独立的对分类结果发生影响。 sklearn接口 from sklearn.naive_bayes import GaussianNB from sklearn

1.相关概念 生成模型 ：在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。条件概率分布可以由生成模型根据贝叶斯定理形成。常见的基于生成模型算法有高斯混合模型和其他混合模型、隐马尔可夫模型、随机上下文无关文法、朴素贝叶斯分类器、AODE分类器、潜在狄利克雷分配模型、受限玻尔兹曼机 举例 ：要确定一个瓜是好瓜还是坏瓜，用判别模型的方法是从历史数据中学习到模型，然后通过提取这个瓜的特征来预测出这只瓜是好瓜的概率，是坏瓜的概率。 判别模型: 在机器学习领域判别模型是一种对未知数据 y 与已知数据 x 之间关系进行建模的方法。判别模型是一种基于概率理论的方法。已知输入变量 x ，判别模型通过构建条件概率分布 P(y|x) 预测 y 。常见的基于判别模型算法有逻辑回归、线性回归、支持向量机、提升方法、条件随机场、人工神经网络、随机森林、感知器 举例 ：利用生成模型是根据好瓜的特征首先学习出一个好瓜的模型，然后根据坏瓜的特征学习得到一个坏瓜的模型，然后从需要预测的瓜中提取特征，放到生成好的好瓜的模型中看概率是多少，在放到生产的坏瓜模型中看概率是多少，哪个概率大就预测其为哪个。

这里写自定义目录标题 概率和统计是一个东西吗？ 概率函数与似然函数 最大似然估计（MLE） 最大后验概率估计 最大后验估计的例子 贝叶斯派观点 VS 频率派观点 贝叶斯定理 朴素贝叶斯分类器 朴素贝叶斯分类器实例 贝叶斯网络 贝叶斯网络的结构形式 因子图 从贝叶斯网络来观察朴素贝叶斯 概率和统计是一个东西吗？ 概率（probabilty）和统计（statistics）看似两个相近的概念，其实研究的问题刚好相反。 概率研究的问题是，已知一个模型和参数，怎么去预测这个模型产生的结果的特性（例如均值，方差，协方差等等）。 举个例子，我想研究怎么养猪（模型是猪），我选好了想养的品种、喂养方式、猪棚的设计等等（选择参数），我想知道我养出来的猪大概能有多肥，肉质怎么样（预测结果）。 统计是，有一堆数据，要利用这堆数据去预测模型和参数。 仍以猪为例。现在我买到了一堆肉，通过观察和判断，我确定这是猪肉（这就确定了模型。在实际研究中，也是通过观察数据推测模型是／像高斯分布的、指数分布的、拉普拉斯分布的等等），然后，可以进一步研究，判定这猪的品种、这是圈养猪还是跑山猪还是网易猪，等等（推测模型参数）。 一句话总结： 概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。 显然， 本文解释的MLE(最大似然估计)和MAP（最大后验估计）都是统计领域的问题。它们都是用来推测参数的方法(不是推测模型

从前有一户夫妻，他们生了两个孩子。已知其中一个是女孩，那么另一个孩子也是女孩的概率是多少呢？ 这是一道概率论课本上的 经典问题 ，一开始的时候，很多人会觉得两个孩子的性别是独立事件，我们知道其中一个孩子的性别，应该对另一个孩子没有影响。但实际上并不是这样，我们可以列出两个孩子性别的所有可能： 从上面这个表格里，我们可以看出来，两个孩子的性别组合一共有4种。其中至少有一个女孩的是三种，而这三种当中，两个孩子都是女孩的有一种。所以答案就是1/3。 除了表格列举出所有情况之外，我们还可以通过 条件概率 来计算。 我们直接套用条件概率的公式：假设A事件代表两个孩子中有一个是女孩，B事件是两个孩子都为女孩。显然，我们要求的就是P(B|A)。 根据公式： 在这题当中A事件发生，B一定发生，所以P(AB) = P(A). 我们知道，两个孩子的性别是独立事件，其中有一个为女孩的概率等于1减去两个都是男孩的概率，两个都是男孩的概率等于 所以至少有一个女孩的概率等于3/4。同理，两个都为女孩的概率是1/4。 所以，我们套入公式 所以另一个孩子也是女孩的概率是 1/3 。 这个答案的计算过程没什么问题，我想大家应该都能看明白，但是不知道会有多少人觉得奇怪。为什么答案不是 1/2 呢？难道两个孩子的性别 不是独立 的吗？一个孩子是女孩和另一个孩子是男是女应该没有联系呀？ 在我们回答这个问题之前

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 1.贝叶斯定理定义 贝叶斯定理是关于随机事件 A 和 B 的条件概率： 其中P(A|B)是在 B 发生的情况下 A 发生的可能性。 在贝叶斯定理中，每个名词都有约定俗成的名称： P(A)是 A 的先验概率，之所以称为“先验”是因为它不考虑任何 B 方面的因素。 P(A|B)是已知 B 发生后 A 的条件概率，也由于得自 B 的取值而被称作 A 的后验概率。 P(B|A)是已知 A 发生后 B 的条件概率，也由于得自 A 的取值而被称作 B 的后验概率。 P(B)是 B 的先验概率，也作标淮化常量（normalizing constant）。 来源： oschina 链接： https://my.oschina.net/pengchanghua/blog/3154594

● 分层抽样的适用范围 参考回答： 分层抽样利用事先掌握的信息,充分考虑了保持样本结构和总体结构的一致性,当总体由差异明显的几部分组成的时候,适合用分层抽样。 ● LR的损失函数 参考回答： M为样本个数, 为模型对样本i的预测结果, 为样本i的真实标签。 ● LR和线性回归的区别 参考回答： 线性回归用来做预测,LR用来做分类。线性回归是来拟合函数,LR是来预测函数。线性回归用最小二乘法来计算参数,LR用最大似然估计来计算参数。线性回归更容易受到异常值的影响,而LR对异常值有较好的稳定性。 ● 生成模型和判别模型基本形式，有哪些？ 参考回答： 生成式：朴素贝叶斯、HMM、Gaussians、马尔科夫随机场 判别式：LR，SVM，神经网络，CRF，Boosting 详情：支持向量机 ● 核函数的种类和应用场景。 参考回答： 线性核、多项式核、高斯核。 特征维数高选择线性核 样本数量可观、特征少选择高斯核（非线性核） 样本数量非常多选择线性核（避免造成庞大的计算量） 详情：支持向量机 ● 分类算法列一下有多少种？应用场景。 参考回答： 单一的分类方法主要包括：LR逻辑回归，SVM支持向量机，DT决策树、NB朴素贝叶斯、NN人工神经网络、K-近邻；集成学习算法：基于Bagging和Boosting算法思想，RF随机森林,GBDT，Adaboost,XGboost。 ●

信息检索概述 信息检索是当前应用十分广泛的一种技术，论文检索、搜索引擎都属于信息检索的范畴。通常，人们把信息检索问题抽象为：在文档集合D上，对于由关键词w[1] ... w[k]组成的查询串q，返回一个按查询q和文档d匹配度relevance(q, d)排序的相关文档列表D'。 对于这一问题，先后出现了布尔模型、向量模型等各种经典的信息检索模型，它们从不同的角度提出了自己的一套解决方案。布尔模型以集合的布尔运算为基础，查询效率高，但模型过于简单，无法有效地对不同文档进行排序，查询效果不佳。向量模型把文档和查询串都视为词所构成的多维向量，而文档与查询的相关性即对应于向量间的夹角。不过，由于通常词的数量巨大，向量维度非常高，而大量的维度都是0，计算向量夹角的效果并不好。另外，庞大的计算量也使得向量模型几乎不具有在互联网搜索引擎这样海量数据集上实施的可行性。 tf-idf模型 目前，真正在搜索引擎等实际应用中广泛使用的是tf-idf模型。tf-idf模型的主要思想是：如果词w在一篇文档d中出现的频率高，并且在其他文档中很少出现，则认为词w具有很好的区分能力，适合用来把文章d和其他文章区分开来。该模型主要包含了两个因素： 1) 词w在文档d中的词频tf (Term Frequency)，即词w在文档d中出现次数count(w, d)和文档d中总词数size(d)的比值： tf(w,d) =

之前看书上的一直不理解到底什么是似然，最后还是查了好几篇文章后才明白，现在我来总结一下吧，要想看懂最大似然估计，首先我们要理解什么是似然，不然对我来说不理解似然，我就一直在困惑最大似然估计到底要求的是个什么东西，而那个未知数θ到底是个什么东西TT 原博主写的太好了，这里 我就全盘奉上~ 似然与概率 在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛硬币，抛之前我们不知道最后是哪一面朝上，但是根据硬币的性质我们可以推测任何一面朝上的可能性均为50%，这个概率只有在抛硬币之前才是有意义的，抛完硬币后的结果便是确定的；而似然刚好相反，是在确定的结果下去推测产生这个结果的可能环境（参数），还是抛硬币的例子，假设我们随机抛掷一枚硬币1,000次，结果500次人头朝上，500次数字朝上（实际情况一般不会这么理想，这里只是举个例子），我们很容易判断这是一枚标准的硬币，两面朝上的概率均为50%，这个过程就是我们根据结果来判断这个事情本身的性质（参数），也就是似然。 结果和参数相互对应的时候

原文地址：https://www.cnblogs.com/guoyaohua/p/9240336.html 2013年，Google开源了一款用于词向量计算的工具——word2vec，引起了工业界和学术界的关注。首先，word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练；其次，该工具得到的训练结果——词向量（word embedding），可以很好地度量词与词之间的相似性。随着深度学习（Deep Learning）在自然语言处理中应用的普及，很多人误以为word2vec是一种深度学习算法。其实word2vec算法的背后是一个浅层神经网络。另外需要强调的一点是，word2vec是一个计算word vector的开源工具。当我们在说word2vec算法或模型的时候，其实指的是其背后用于计算word vector的CBoW模型和Skip-gram模型。很多人以为word2vec指的是一个算法或模型，这也是一种谬误。接下来，本文将从统计语言模型出发，尽可能详细地介绍word2vec工具背后的算法模型的来龙去脉。 Statistical Language Model 在深入word2vec算法的细节之前，我们首先回顾一下自然语言处理中的一个基本问题： 如何计算一段文本序列在某种语言下出现的概率？之所为称其为一个基本问题，是因为它在很多NLP任务中都扮演着重要的角色。 例如

一、相关概念： 先验概率： 是指事件发生前的预判概念，也可以说是“因”发生的概率，即表示为 P(X)。 条件概率： 是指事件发生后求得反向条件概率，也可以说是在“因”的条件下，“果”发生的概率，即表示为 P(Y|X)。 后验概率： 一个事件发生后导致另一个事件发生的概率，也可以说是在“果”出现的情况下，是什么“因”导致的概率，即表示为P(X|Y)。 似然概率： 类似于条件概率，即“因”的条件下，“果”发生的概率，即表示为 P(Y|X)。 贝叶斯定理：（又称条件概率定理） P ( Y ∣ X ) = P ( X ∣ Y ) ∗ P ( Y ) P ( X ) P(Y|X)=\frac{P(X|Y)*P(Y)}{P(X)} P ( Y ∣ X ) = P ( X ) P ( X ∣ Y ) ∗ P ( Y ) ​ 二、朴素贝叶斯法概述： 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于该模型，对于给定的输入 x x x ，利用贝叶斯定理求出后验概率最大的输出 y y y . 先验概率分布、条件概率分布、联合概率分布： 已知输入空间 χ ⫅ R n \chi \subseteqq R^{n} χ ⫅ R n 为 n n n 维向量的集合，输出空间为类标记集合 γ = { c 1 , c 2 , .