gmm

说明： 1. 本文实现了PRML一书第13章的隐马尔科夫（HMM）算法，并与K-means聚类、GMM模型聚类进行了对比。当然，HMM的用处远不止是聚类； 2. 非职业码农，代码质量不高，变量命名也不规范，凑合着看吧，不好意思。 隐马尔科夫模型（HMM）是我一直想弄清楚的一种模型。可能是上学时随机过程只考了60分，心有不甘。 模型和算法本身不赘述了，详见PRML第13章。直接看结果，把隐变量z作为类别编号，HMM可用于聚类。这里可以看到，由于HMM利用了序列跳转信息（也就是马尔科夫特性），可以获得比混合高斯模型（GMM，http://blog.csdn.net/foreseerwang/article/details/75222522）更为准确的结果。 Matlab输出： **************************************************************** **************************************************************** K-means聚类计算，结果将作为HMM初始值...... K-means聚类算法结束 **************************************************************** GMM聚类计算中......

GMM模型的R实现 预备知识： EM算法原理 GMM算法原理 友情提示：本代码配合GMM算法原理中的步骤阅读更佳哦！ 本文分为一元高斯分布的EM算法以及多元高斯分布的EM算法，分别采用两本书上的数据《统计学习方法》和《机器学习》。 一元高斯混合模型 步骤： 1、设置模型参数的初始值，以及给出测试的数据 data <- c(- 67 ,- 48 , 6 , 8 , 14 , 16 , 23 , 24 , 28 , 29 , 41 , 49 , 56 , 60 , 75 ) a = c( 0.5 , 0.5 ) #系数 u = c( 0 , 1 ) #初始均值 sigma2 =c( 9 , 9 ) #初始方差 data数据来自《统计机器学习》 2：E步 迭代计算gamma值，也就是响应度 首先利用 dnorm() 计算高斯公式的密度值, sapply() 来向量化带入函数计算 p <- t(sapply( data ,dnorm,u,sigma)) amatrix <- matrix(rep(a, N ),nrow= N ,byrow = T ) #便于计算 r = (p * amatrix) / rowSums(p * amatrix) #r(gamma):分模型k对观测数据data的响应度 M步 迭代更新均值、方差和模型系数 u <- colSums( data *r)

GMM模型的python实现 预备知识： EM算法原理 GMM算法原理 友情提示：本代码配合GMM算法原理中的步骤阅读更佳哦！ 本文分为一元高斯分布的EM算法以及多元高斯分布的EM算法，分别采用两本书上的数据《统计学习方法》和《机器学习》。 一元高斯混合模型 python未完成，可以看R实现的。 R || 高斯混合模型GMM 多元高斯混合模型 多元高斯混合模型采用的是《机器学习》中的西瓜数据集。 多元高斯分布中的密度值python中没有直接函数，需要自己编写 import numpy as np # 高斯分布的概率密度函数 def dnorm (x,u,sigma2) : """ x:样本 u:均值 sigma2:方差或协差阵 """ if not isinstance(sigma2,np.matrix): sigma2 = np.mat(sigma2) if not isinstance(x,np.matrix): x=np.mat(x) n = np.shape(x)[ 1 ] expOn = float(- 0.5 * (x-u) * sigma2.I * (x-u).T) #python中一维矩阵默认为行向量，所以和书上公式有差异 divBy = np.sqrt(pow( 2 *np.pi,n)) * pow(np.linalg.det(sigma2), 0.5 )

高斯混合模型 混合模型，顾名思义就是几个概率分布密度混合在一起，而高斯混合模型是最常见的混合模型； GMM，全称 Gaussian Mixture Model，中文名高斯混合模型，也就是由多个高斯分布混合起来的模型； 概率密度函数为 K 表示高斯分布的个数，α k 表示每个高斯分布的系数，α k >0，并且 Σα k =1， Ø(y|θ k ) 表示每个高斯分布，θ k 表示每个高斯分布的参数，θ k =(u k ，σ k 2 )； 举个例子 男人和女人的身高都服从各自的高斯分布，把男人女人混在一起，那他们的身高就服从高斯混合分布； 高斯混合模型就是用混合在一起的身高数据，估计男人和女人各自的高斯分布 小结 GMM 实际上分为两步，第一步是选择一个高斯分布，如男人数据集，这里涉及取到某个分布的概率，α k ， 然后从该分布中取一个样本，等同于普通高斯分布 GMM 常用于聚类，也就是把每个概率密度分布聚为一类；如果概率密度分布为已知，那就变成参数估计问题 EM 解释 GMM EM 的核心是 隐变量 和 似然函数 求导结果如下 GMM 的 EM 算法 算法流程 参考资料： https://blog.csdn.net/jinping_shi/article/details/59613054 《统计学习方法》李航 来源： https://www.cnblogs.com/yanshw/p