高斯混合模型

1. 有时候单一高斯分布不能很好的描述分布 image.png 上图左面用单一高斯分布去描述，显然没有右图用两个高斯分布去描述的效果好。 2. 引入混合高斯分 这里插一句，为什么是“高斯混合模型”，而不是别的混合模型，因为从中心极限定理知，只要K足够大，模型足够复杂，样本量足够多，每一块小区域就可以用高斯分布描述。而且高斯函数具有良好的计算性能，所GMM被广泛地应用。 单一高斯分布公式 image.png 混合高斯分布 每个GMM由K个高斯分布组成，每个高斯分布称为一个组件（Component），这些组件线性加成在一起就组成了GMM的概率密度函数： image.png image.png image.png 如上图，我们用三个高斯分布去描述一个二维的数据。 原文：https://www.jianshu.com/p/928d48afcd9a 来源：简书 来源： https://www.cnblogs.com/Ph-one/p/12658582.html

判别方法 ：由数据直接学习 决策函数 Y=f(X),或者由条件分布概率P(Y|X)作为预测模型为判别模型。 常见的 判别模型 有线性回归、boosting、SVM、决策树、感知机、线性判别分析(LDA)、逻辑斯蒂回归等算法。 生成方法 ：由数据学习x和y的 联合概率密度分布函 数P(Y,X)，然后通过贝叶斯公式求出条件概率分布P(Y|X)作为预测的模型为生成模型。 常见的 生成模型 有朴素贝叶斯、隐马尔科夫模型、高斯混合模型、文档主题生成模型(LDA)等。 举例 ： 判断一个动物是大象还是猫，记住大象是长鼻子就可以判别出哪个是大象，将大象和猫画出来与动物进行对比，那个像就是那个。 人工智能更多面试问题关注公众号： 我们都是码农 (allmanong)，或者扫描下方二维码！ 来源： oschina 链接： https://my.oschina.net/u/4354590/blog/3220630

判别方法 ：由数据直接学习 决策函数 Y=f(X),或者由条件分布概率P(Y|X)作为预测模型为判别模型。 常见的 判别模型 有线性回归、boosting、SVM、决策树、感知机、线性判别分析(LDA)、逻辑斯蒂回归等算法。 生成方法 ：由数据学习x和y的 联合概率密度分布函 数P(Y,X)，然后通过贝叶斯公式求出条件概率分布P(Y|X)作为预测的模型为生成模型。 常见的 生成模型 有朴素贝叶斯、隐马尔科夫模型、高斯混合模型、文档主题生成模型(LDA)等。 举例 ： 判断一个动物是大象还是猫，记住大象是长鼻子就可以判别出哪个是大象，将大象和猫画出来与动物进行对比，那个像就是那个。 人工智能更多面试问题关注公众号： 我们都是码农 (allmanong)，或者扫描下方二维码！ 来源： oschina 链接： https://my.oschina.net/u/4287823/blog/3220620

3 月，跳不动了？>>> CDA数据分析师 出品 尽管成熟的算法和开源代码库可供机器学习从业人员广泛使用，但使用足够的数据去应用这些技术仍然是一个核心挑战。现在让我们了解如何利用scikit-learn和其他工具来生成适合优化和微调模型的综合数据。 --- Kevin Vu 越来越明显的是，谷歌，Facebook和微软等大型科技巨头对最新的机器学习算法和软件包非常慷慨（它们免费提供这些），因为目前算法世界的入门门槛很低。开源社区和工具（例如scikit-learn）已经走了很长一段路， 大量的开源计划正在推动数据科学，数字分析和机器学习的发展。站在2018年，我们可以肯定地说， 算法，编程框架和机器学习套件（甚至是学习这些技术的教程和课程）不是稀缺资源，而是高质量数据。 在调整和微调这些算法时，这通常成为数据科学（DS）和机器学习（ML）从业者的棘手问题。明智的是，从一开始就应该指出当前的文章，与算法研究、教学法学习和模型原型的数据稀缺有关，而不是与扩展和运行商业运作有关。这不是关于如何获取时尚旅行或时尚应用程序的数据的讨论。这种消费者，社会或行为数据收集会给自己带来问题。但是，即使是访问质量数据集以测试特定算法方法的局限性和变化性之类的简单操作，也往往不是那么简单。 为什么需要综合数据集？ 如果是从头开始学习，则最合理的建议是从简单的小规模数据集入手

最近在学EM算法，看到大佬写的博客很好，我仅转载：https://blog.csdn.net/coldnoble/article/details/41625911?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522158390483919725211958727%2522%252C%2522scm%2522%253A%252220140713.130056874…%2522%257D&request_id=158390483919725211958727&biz_id=0&utm_source=distribute.pc_search_result.none-task 最近在看李航的《统计学习方法》一书，关于EM算法部分收集了些资料进行了学习，做了些混合高斯的模拟，下面分三个部分介绍下相关内容：1）EM算法原理，2）混合高斯推导，3）相关代码和结果 一、EM算法原理 EM算法推导中一个重要的概念是 Jensen 不等式 。 其表述为：如果 为凸函数（ ）， 则有 ， 当且仅当 的时候不等式两边等号才成立。 如果概率模型只针对观测样本 ，那么根据 的观测值，可以通过极大似然或贝叶斯估计法估计其参数 。但是，如果概率模型不仅包含观测样本 ，还含有隐变量 （无法观测其值），这时就需要EM算法来估计隐 变量 和 观测样本

写在前面 数据降维的几种形式 数据降维的几种方法，包括 PCA 、 LDA 、 ICA 等，另外还有一种常用的降维方法就是 因子分析 。 关于这几种方法的各自的优劣，有必要之后跟进一下。 概率图角度理解 打开prml and mlapp发现这部分目录编排有点小不同，但神奇的是章节序号竟然都为“十二”。 prml：pca --> ppca --> fa mlapp：fa --> pca --> ppca 这背后又有怎样的隐情？不可告人的秘密又会隐藏多久？ 基于先来后到原则，走prml路线。 首先，这部分内容，尤其是pca，都是老掉牙且稳定的技术，既然是统计机器学习，这次的目的就是借概率图来缕一遍思路，以及模型间的内在联系。 PPCA's PGM 我们要建立的是一套完整的知识体系，而非“拿来一用，用完就扔”的态度。 有菜鸡问了，为何你总是强调“体系”？ 因为我是马刺队球迷。 首先，我希望大家重视prml的第12章开章这段话： " 本章中，我们⾸先介绍标准的、⾮概率的PCA⽅法，然后我们会说明，当求解线性⾼斯潜在变量模型的 ⼀种特别形式的最⼤似然解 时， PCA如何 ⾃然地产⽣ 。这种概率形式的表⽰⽅法会带来很多好处，例如在参数估计时可以使⽤EM算法，对混合PCA模型的推广以及主成分的数量可以从数据中⾃动确定的贝叶斯公式。最后，我们简短地讨论潜在变量概念的几个推广

正态分布是一种中间高两头低的分布曲线, 其公式由高斯导出, 故又名高斯分布. 而中心极限定理让我们知道, 统计问题大多符合正态分布. 高斯混合模型正是基于这一规律. 模型认为, 一组离散数据的分布是符合高斯分布的, 但它的分布不会老老实实地由一个高斯分布决定, 肯定是多个高斯分布加权, 混合二字就是多个高斯分布混合作用的意思. 数据的生成过程如下: 由K个离散随机变量代表K个不同的高斯分布. 随机出一个高斯分布k. 根据高斯分布k, 生成一个数据. 重复1和2. 以上过程是已知模型, 生成数据. 我们要的是已知数据, 反推模型. 此时需要使用EM算法进行训练, 它是一种根据后验来调整先验的算法, 使用了极大似然估计, 让高斯混合模型在不断的数据训练中矫正到符合数据的分布. 关键知识点: 极大似然估计, EM算法的E过程和M过程, 正态分布(高斯分布)的公式和中心极限定理, 二阶/多阶正态分布的公式. 高斯混合模型是一种简单模型, 其概率图模型也十分简单 将它扩展到时序, 就是HMM隐马尔科夫模型. 来源： CSDN 作者： 羚谷光 链接： https://blog.csdn.net/qq_39006282/article/details/104145299

1. EM算法-数学基础 2. EM算法-原理详解 3. EM算法-高斯混合模型GMM 4. EM算法-高斯混合模型GMM详细代码实现 5. EM算法-高斯混合模型GMM+Lasso 1. 前言 GMM(Gaussian mixture model) 混合高斯模型在机器学习、计算机视觉等领域有着广泛的应用。其典型的应用有概率密度估计、背景建模、聚类等。 2. GMM介绍 高斯混合模型（Gaussian Mixed Model）指的是多个高斯分布函数的线性组合，理论上GMM可以拟合出任意类型的分布，通常用于解决同一集合下的数据包含多个不同的分布的情况。 3. GMM原理解析 根据我们之前 EM算法-原理详解 ，我们已经学习了EM算法的一般形式： \[ Q_i(z^{(i)}) = P( z^{(i)}|x^{(i)},\theta^{j})\;\;\;\;(1) \] \[ \sum\limits_{z}Q_i(z^{(i)}) =1 \] \[ L(\theta, \theta^{j}) = \sum\limits_{i=1}^m\sum\limits_{z^{(i)}}Q_i(z^{(i)})log{P(x^{(i)},z^{(i)}|\theta)} \] 现在我们用高斯分布来一步一步的完成EM算法。 设有随机变量 \(\boldsymbol{X}\)

极大似然估计与EM算法： 详解EM算法与混合高斯模型(Gaussian mixture model, GMM)_林立民爱洗澡-CSDN博客 https://blog.csdn.net/lin_limin/article/details/81048411 GMM（高斯混合模型）以及简单实现_zjm750617105的专栏-CSDN博客 https://blog.csdn.net/zjm750617105/article/details/5243029 成分数的选择 在一个GMM里，BIC(Bayesian Information Criteria)准则是一种有效的成分数确定方法。注意，如果使用一个 Variational Bayesian Gaussian mixture , 可以避免指定GMM的成分数。 AIC准则 AIC准则是由日本统计学家Akaike与1973年提出的，全称是最小化信息量准则（Akaike Information Criterion）。它是拟合精度和参数个数的加权函数： AIC=2（模型参数的个数）-2ln（模型的极大似然函数） BIC准则 AIC为模型选择提供了有效的规则，但也有不足之处。当样本容量很大时，在AIC准则中拟合误差提供的信息就要受到样本容量的放大，而参数个数的惩罚因子却和样本容量没关系（一直是2），因此当样本容量很大时

1 隐马尔可夫模型HMM 隐马尔科夫模型（Hidden Markov Model，以下简称HMM）是比较经典的机器学习模型了，它在语言识别，自然语言处理，模式识别等领域得到广泛的应用。 当然，随着目前深度学习的崛起，尤其是 RNN ， LSTM 等神经网络序列模型的火热，HMM的地位有所下降。 但是作为一个经典的模型，学习HMM的模型和对应算法，对我们解决问题建模的能力提高以及算法思路的拓展还是很好的。 1.1 什么样的问题需要HMM模型 首先我们来看看什么样的问题解决可以用HMM模型。 使用HMM模型时我们的问题一般有这两个特征： １）我们的问题是基于序列的，比如时间序列，或者状态序列。 ２）我们的问题中有两类数据，一类序列数据是可以观测到的，即观测序列；而另一类数据是不能观察到的，即隐藏状态序列，简称状态序列。 有了这两个特征，那么这个问题一般可以用HMM模型来尝试解决。这样的问题在实际生活中是很多的。比如：我现在在打字写博客，我在键盘上敲出来的一系列字符就是观测序列，而我实际想写的一段话就是隐藏序列，输入法的任务就是从敲入的一系列字符尽可能的猜测我要写的一段话，并把最可能的词语放在最前面让我选择，这就可以看做一个HMM模型了。再举一个，我在和你说话，我发出的一串连续的声音就是观测序列，而我实际要表达的一段话就是状态序列，你大脑的任务