高斯混合模型

据上次博客已经2周多了，一直没写，惭愧。 一、高斯模型简介 首先介绍一下单高斯模型(GSM)和高斯混合模型(GMM)的大概思想。 1.单高斯模型 如题，就是单个高斯分布模型or正态分布模型。想必大家都知道正态分布，这一分布反映了自然界普遍存在的有关变量的一种统计规律，例如身高，考试成绩等；而且有很好的数学性质，具有各阶导数，变量频数分布由 μ、σ 完全决定等等，在许多领域得到广泛应用。在这里简单介绍下高斯分布的概率密度分布函数: 其中 θ= ( μ,σ 2 ); 2.高斯混合模型 注：在介绍GMM的时候，注意跟K-means的相似点 K个GSM混合成一个GMM，每个GSM称为GMM的一个component，也就是分为K个类，与K-means一样，K的取值需要事先确定，具体的形式化定义如下： 其中， 是样本集合中k类被选中的概率： ，其中z=k指的是样本属于k类，那么 可以表示为 ,很显然 ，y是观测数据。 这里如果我们事先知道每个样本的分类情况，那么求解GMM的参数非常直观，如下表示： 假设 有K个类，样本数量分别为 N 1 ,N 2 ,…,N k 且 N 1 +N 2 +…+N k =N，即有观测数据 ，第k个分类的样本集合表示为S(k)，那么公式（2）中的三个参数可以表示为： 这样是理想情况，例如给你一堆人类的身高的数据，以及对应的性别，那么这个就是估计两个分量的高斯混合模型

此文公式图片不全。详见博客： http://www.blog.huajh7.com/variational-bayes/ 【关键字】平均场理论，变分法，贝叶斯推断，EM算法，KL散度，变分估计，变分消息传递 引言 · 从贝叶斯推断说起 Question ： 如果我们有一组观测数据D，如何推断产生这些数据的模型m？ 模型由1）模型的类别ξ（如高斯分布，伽马分布，多项式分布等）与2）模型的参数Θ共同决定，即 . 模型的选择 假设M为所有可能的模型集合（包括不同类别），那么选择 如何计算p(m | D)? 通常情况很难直接计算p(m | D)，根据贝叶斯公式有 ，p(m)表示模型的先验，p(D | m)表示证据； 先验：贝叶斯规则倾向于选择能解释数据的最简单模型：Occam剃刀原理。因为简单模型只在有限范围内做预测，复杂模型（如有更多自由参数）能对更宽范围做预测。 那么如何计算证据（evidence） ？ 参数θ的后验概率为 证据p(D | m)通常会在最可能的参数 附近有一个很强的峰。 以一维参数为例：利用Laplace方法近似，即用被积函数 乘以其宽度 。即 。 此处不在深究Occam因子。 从模型的选择可以看出参数的估计非常重要。 考虑同一个类别的模型。由于任何模型（函数）都可以由统一的数学形式给出，比如拉格朗日展开，傅里叶极数，高斯混合模型（GMM）等

工作环境( 蓝色粗体字 为特别注意内容) 1，软件环境 ：Windows 7 Ultimate sp1、matlabR2012b 32bit 2，参考文献 ：① https://jp.mathworks.com/products/statistics.html ② https://blog.csdn.net/zhansama/article/details/82745128 Matlab2012b中使用高斯混合模型报错： gm = fitgmdist(X,2,'Options',options) Undefined function 'fitgmdist' for input arguments of type 'struct'. 了解相关信息，发现fitgmdist函数是Statistics and Machine Learning Toolbox工具箱中的东西，一筹莫展之际，看到了参考文献②，于是将高斯混合模型改为： gm=gmdistribution.fit(X,2,'Covtype','Diagonal','Regularize',1e-10,'Options',options); 顺利执行。 来源： https://blog.csdn.net/pang9998/article/details/98755205