高斯混合模型

前言   本文所涉是笔者模式识别课的第一次大作业——用 朴素贝叶斯 来做nemo鱼图像区域分割。它是用贝叶斯来做 二元分类 的简单实践，适合用来做贝叶斯算法入门，现将简要理论和笔者所写代码放在这里，供大家参考。不知道有没有朋友有疑问，明明是图像区域分割，怎么又和二元分类扯上了关系，其实逐像素的图像分割，就是在做分类。当然，这里的分割不是指复杂的语义分割，只是简单的根据灰度或者颜色分布来做区域分割。   贝叶斯理论： 机器学习十大经典算法：深入浅出聊贝叶斯决策 任务与数据 数据   图像 fish.bmp 与掩膜 mask.mat ，掩膜点乘图像，即可获得待分割区域ROI。小鱼区域主要有两种类型的区域，以下就是要用朴素贝叶斯把这两个部分分出来——用不同的颜色表示不同区域。   训练数据 sample.mat ，它是一个二维的matlab数组，第一列为灰度值，第2-4列为RGB值，第五列为当前灰度值或者RGB值对应的类别标签（1，-1）。它蕴含着两种类型区域的灰度值或者RGB值的分布，根据它来估计两种类型区域的类概率密度函数的参数。 任务   任务1：对训练数据用极大似然，估计出两类区域灰度值的概率密度函数，并用最小错误贝叶斯对 fish.bmp ROI灰度图像进行分割。   任务2：对训练数据用极大似然，估计出两类区域RGB值的概率密度函数，并用最小错误贝叶斯对 fish.bmp

1.文章做出了哪些成果？： 在本文中，我们提出了一种有效的方法，使用简单的基于补丁的背景层和雨层的先验信息。这些先验是基于高斯混合模型的，能够适应雨带的多个方向和尺度。这种简单的方法比现有的定性和定量方法更好地去除雨纹。 2.前人成果有什么？改变了什么？改进的地方是什么？ 解决不适定问题的现有的图像分解方法要么采用字典学习方法，要么在雨条纹的出现上施加低秩结构。虽然这些方法可以提高整体可见性，但它们往往会在背景图像中留下过多的雨痕或使背景图像过于平滑（平滑的定义见笔记） Kang等人提出了一种将输入图像分解为低频分量（结构层）和高频分量（纹理层）的方法。高频分量包含背景对象的雨痕和边缘。该方法试图通过基于稀疏编码的HoG特征字典学习从高频层中分离出雨痕频率，通过将低频层和处理过的高频层合并得到输出。 改进点： 文章作者在图像分解的基础上，也是将输入图像分为背景层和雨纹层，不过作者在使用了背景层和雨纹层的先验来帮助图像分解，并且这些先验是居于GMMs模型的。（所以作者第对图像层施加的约束条件不同） 3.文章的创新之处？ ①本文是第一篇用高斯混合模型补丁先验去除雨水的论文。 ②在图像分解是，背景层和雨条纹层都加上了一定的约束条件（这样保证得出的结果不会太偏离预期） 4. 框架 核心算法如下： 算法1　利用层先验（优先级）去除雨痕　 输入：输入图像O；两层GMMs：GB和GR； 初始化：

　　 摘 要 　　单图像去雨是图像复原的重要研究方向之一。单图像深度学习去雨方法中，全监督去雨方法模型的输入均为配对数据，因此尽管利用大量的合成配对数据取得了很好的效果，但处理真实雨图时会产生性能退化；此外无法利用真实世界中的大量无标签雨图，因此无法很好地解决真实图像去雨任务。鉴于此，基于部分或零配对数据的无监督/ 半监督去雨算法则体现出更大的优势。本文将重点围绕无监督与半监督单图像深度学习去雨研究的最新进展进行简要回顾及分析，并力图为后续的研究提供一些思路。 　　 关 键 字 　　图像复原；单图像去雨；无监督去雨；半监督去雨；深度表示学习 　　图像复原是利用退化过程的某些先验知识建立相应的数学模型，通过求解逆问题对原始图像进行估计进而复原被退化的图像。但在退化过程中，噪声和干扰因素同时存在，给图像的复原带来了诸多不确定性和挑战。随着深度学习研究热潮的到来，图像复原仍然是目前计算机视觉领域的重要方向，例如图像去雨、图像去雾和图像去模糊等，是诸多高层视觉任务的重要预处理步骤。雨是最常见的动态恶劣天气，因此本文重点探讨图像去雨任务。特别地，图像去雨分为静态单图像去雨和动态序列图像（即视频）去雨。和视频去雨相比，单图像去雨由于缺乏时域信息因而更具挑战性。图1 展示了部分合成的雨图像和真实的雨图像的对比，从中可见真实雨图中的雨纹信息是更加复杂的、多样化的和多方向的

目录 主要内容 聚类算法 K-means聚类 关于K的选定？ K-means的局限性 层次聚类 聚类对比 高斯混合模型 GMM的优势？ GMM的劣势？ 总结和对比 主要内容 聚类算法 图像分割 K-means聚类 关于K的选定？ K-means的局限性 层次聚类 自己确定在什么时间停止 不同粒度时的聚类情况 聚类对比 高斯混合模型 两个加权求值 任何的分布可以由多个高斯分布加权的和表示 随机给的高斯分布 EM算法 GMM的优势？ t迭代次数，k是高斯核个数，n样本个数 GMM的劣势？ 总结和对比 来源： oschina 链接： https://my.oschina.net/u/4339343/blog/4329389

前面的博客里说过最近几个月我从传统语音（语音通信）切到了智能语音（语音识别）。刚开始是学语音识别领域的基础知识，学了后把自己学到的写了PPT给组内同学做了presentation（ 语音识别传统方法(GMM+HMM+NGRAM)概述 ）。一段时间后老板就布置了具体任务：在我们公司自己的ARM芯片上基于kaldi搭建一个在线语音识别系统，三个人花三个月左右的时间完成。由于我们都是语音识别领域的小白，要求可以低些，就用传统的GMM-HMM来实现。说实话接到这个任务我们心里是有点没底的，不知道能不能按时完成，毕竟我们对语音识别不熟，对kaldi不熟。既然任务下达了，硬着头皮也要上，并尽最大努力完成。我本能的先在网上用百度/google搜了搜，看有没有一些经验可供参考，好让我们少走弯路。遗憾的是没搜到有价值的东西。没办法，我们只能根据自己以前的经验摸索着前进。最终我们按计划花了不到三个月的时间完成了嵌入式平台上在线语音识别系统的搭建。虽然只是demo，但是为后面真正做商用的产品打下了良好的基础，累积了不少的经验。今天我就把我们怎么做的分享出来，给也想做类似产品的朋友做个参考。 既然作为一个项目来做，就要有计划，分几个阶段完成这个项目。我在学习语音识别基础知识时对kaldi有一个简单的了解（在做语音识别前就已知kaldi的大名，没办法这几年人工智能（AI）太热了

腾讯音乐还要制造多少惊喜？喜讯一条接一条。 不久前，腾讯音乐娱乐集团放出重磅消息，将与环球音乐集团续签多年期战略合作。今天（8月13日），其又宣布和Kobalt Music、Cooking Vinyl、Genie Music、GMM Grammy、芒果TV等正式达成战略合作。即日起，上述全球顶级厂牌/唱片公司及视频平台的优质内容将全面上线腾讯音乐娱乐集团（以下简称TME）旗下QQ音乐、酷狗音乐、酷我音乐、全民K歌等平台。 <br><br> http:// qr01.cn/FoP1rq (二维码自动识别) 这对全球乐迷、整个乐坛来说，都是一个重大利好。毕竟，此次与腾讯音乐娱乐集团达成战略的厂牌，覆盖了中日韩、欧美、东南亚等国家和地区。这意味着你只需拥有腾讯音乐娱乐集团旗下任一产品，就能尽情体验大众流行、独立先锋、影视音乐、经典新曲等众多类型的音乐，解锁全新的视听盛宴。 被誉为“流行音乐巨星领路人”的Kobalt Music，业务遍及音乐产业的所有幕后领域，为众多词曲作家、出版商、独立艺人提供音乐出版、邻接权等服务，合作对象囊括Childish Gambino、Dave Grohl、Enrique Iglesias等知名歌手。 http:// qr03.cn/A7THzi (二维码自动识别) Cooking Vinyl主要为全球音乐人提供制作、线上活动、营销等定制化创意服务

变分深度嵌入(Variational Deep Embedding, VaDE) 作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 这篇博文主要是对论文“ Variational Deep Embedding: An Unsupervised and Generative Approach to Clustering”的整理总结，阅读这篇博文的前提条件是：了解 高斯混合模型用于聚类的算法 ，了解 变分推断与变分自编码器 。在知道高斯混合模型(GMM)与变分自编码器(VAE)之后，VaDE实际上是将这两者结合起来的一个产物。与VAE相比，VaDE在公式推导中多了一个变量c。与GMM相比，变量c就相当于是GMM中的隐变量z，而隐层得到的特征z相当于原来GMM中的数据x。下面主要介绍VaDE模型的变分下界(损失函数)L(x)的数学推导过程。推导过程用到了概率论与数理统计的相关知识。 1. 前提公式 2. VaDE损失函数公式推导过程 最终的聚类结果是由q(c|x)得到的，q(c|x)相当于GMM中的隐变量的后验概率γ。 下面将损失函数拆成5项，并一项一项进行求解。 3. VaDE算法总体流程 4. 参考文献 [1] 聚类——GMM - 凯鲁嘎吉 - 博客园 [2] 变分推断与变分自编码器 - 凯鲁嘎吉 - 博客园 [3] Jiang Z ,

极大似然估计 我们先从极大似然估计说起，来考虑这样的一个问题，在给定的一组样本x1,x2······xn中，已知它们来自于高斯分布N(u, σ)，那么我们来试试估计参数u，σ。 首先，对于参数估计的方法主要有矩估计和极大似然估计，我们采用极大似然估计，高斯分布的概率密度函数如下： 我们可以将x1，x2，······，xn带入上述式子，得： 接下来，我们对L(x)两边去对数，得到： 于是，我们得到了l(x)的表达式，下面需要对其计算极大值： 通过对目标函数的参数u，σ分别求偏导，很容易得到： 对于上述的结果，和矩估计是一样，它的含义就是：样本的均值即为高斯分布的均值，样本的方差即为高斯分布的方差。 通过上面的问题分析，我们来看这样的一个问题，假设在班级中随机挑选100名同学，并且测量了这100名同学的身高，如果这100个样本服从的是正态分布，那么我们可以用样本的均值和方差等于正态分布的均值和方差来估计参数u和σ。但是样本中存在男同学和女同学，它们分别服从N1(u1, σ1)和N2(u2, σ2)的分布，那么我们应该如何估计u1, σ1，u2, σ2参数呢？ 我们可以通过假设随机变量x是有k个高斯分布混合而成，取各个高斯分布的概率的φ1,φ2，······φk，第i个高斯分布的均值为ui，方差为∑i。那么，我们可以建立如下目标函数： 上述的式子中，由于在对数函数中存在加和

这是我的硕士学位论文。研究课题时由于目前还没有统一的数据集，所以自己整理了野外火灾烟雾的视频集，论文中设计的算法效果还不好，希望能给同领域的研究者提供一些资源和思路。 算法过程简介： 将视频图像分为32x24px的小块； 使用GMM提取运动区域的图像块； 使用HSV颜色模型提取疑似烟雾区域； 利用块运动的方法筛选第2步中得到的烟雾区域中向上运动的区域； 利用CNN识别烟雾区域。 开发环境： 　　硬件环境：Intel I5 6500处理器，8G内存，NVIDIA 1050Ti GPU 　　操作系统：Ubuntu Linux 16.04 　　开发语言：Python3.5 　　扩展库：OpenCV3.0，Tensorflow1.2.0rc0，numpy1.11.1，matplotlib1.5.1 详细的信息请参看附件中我的毕业论文，有问题欢迎直接留言或发邮件给我 cystone@aliyun.com 如果我的论文对你的研究有所帮助，请在参考文献中加入我的论文的引用： 　　　　　　　　　　程阳.野外火灾烟雾视频检测技术研究及应用[D].成都:成都信息工程大学,2017. 　　　　　　　　　　 高丰伟,魏维,程阳.野外早期火灾烟雾视频检测技术研究[J].成都信息工程大学学报,2018,33(05):509-516. 附件：包括论文，火灾烟雾视频集，用于训练CNN的图片集及源码 链接:

基于图嵌入的高斯混合变分自编码器的深度聚类 Deep Clustering by Gaussian Mixture Variational Autoencoders with Graph Embedding, DGG 作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 1. 引言 这篇博文主要是对论文“ Deep Clustering by Gaussian Mixture Variational Autoencoders with Graph Embedding ”的整理总结，这篇文章将图嵌入与概率深度高斯混合模型相结合，使网络学习到符合全局模型和局部结构约束的强大特征表示。将样本作为图上的节点，并最小化它们的后验分布之间的加权距离，在这里使用Jenson-Shannon散度作为距离度量。 阅读这篇博文的前提条件是：了解 高斯混合模型用于聚类的算法 ，了解 变分推断与变分自编码器 ，进一步了解 变分深度嵌入(VaDE)模型 。在知道高斯混合模型(GMM)与变分自编码器(VAE)之后，VaDE实际上是将这两者结合起来的一个产物。与VAE相比，VaDE在公式推导中多了一个变量c。与GMM相比，变量c就相当于是GMM中的隐变量z，而隐层得到的特征z相当于原来GMM中的数据x。而基于图嵌入的高斯混合变分自编码器的深度聚类(DGG