高斯

高斯混合模型(GMM)

99封情书 提交于 2020-04-08 11:41:14
1. 有时候单一高斯分布不能很好的描述分布 image.png 上图左面用单一高斯分布去描述,显然没有右图用两个高斯分布去描述的效果好。 2. 引入混合高斯分 这里插一句,为什么是“高斯混合模型”,而不是别的混合模型,因为从中心极限定理知,只要K足够大,模型足够复杂,样本量足够多,每一块小区域就可以用高斯分布描述。而且高斯函数具有良好的计算性能,所GMM被广泛地应用。 单一高斯分布公式 image.png 混合高斯分布 每个GMM由K个高斯分布组成,每个高斯分布称为一个组件(Component),这些组件线性加成在一起就组成了GMM的概率密度函数: image.png image.png image.png 如上图,我们用三个高斯分布去描述一个二维的数据。 原文:https://www.jianshu.com/p/928d48afcd9a 来源:简书 来源: https://www.cnblogs.com/Ph-one/p/12658582.html

透彻理解高斯分布

╄→гoц情女王★ 提交于 2020-04-07 19:48:44
正态分布是与中的定量现象的一个方便模型。各种各样的心理学测试分数和现象比如计数都被发现近似地服从正态分布。 开始前,先看几个重要概念: 概率函数: 把事件概率表示成关于事件变量的函数 概率分布函数: 一个随机变量ξ取值小于某一数值x的概率,这概率是x的函数,称这种函数为随机变量ξ的分布函数,简称分布函数,记作F(x),即F(x)=P(ξ<x) (-∞<x<+∞),由它并可以决定随机变量落入任何范围内的概率。 概率密度函数: 概率密度等于变量在一个区间(事件的取值范围)的总的概率除以该段区间的长度。 概率密度函数是一个描述随机变量在某个确定的取值点附近的可能性的函数。 概率分布函数与概率密度函数的关系: 连续型随机变量X的概率分布函数F(x),如果存在非负可积函数f(x),使得对任意实数x,有 f(x)为X的概率密度 高斯分布 通过概率密度函数来定义高斯分布: 高斯分布的概率密度函数是: 均值为μ,标准差为σ 高斯分布的概率分布函数是: 高斯分布标准差在概率密度分布的数据意义 高斯分布重要量的性质 密度函数关于平均值对称 平均值是它的众数(statistical mode)以及中位数(median) 函数曲线下68.268949%的面积在平均值左右的一个标准差范围内 95.449974%的面积在平均值左右两个标准差2σ的范围内 99.730020

特征检测(二):OpenCV中的SIFT尺度不变特征变化特征检测技术

只谈情不闲聊 提交于 2020-03-25 11:47:52
3 月,跳不动了?>>> 目标 在这一章当中, 我们将学习SIFT算法的概念 我们将学习如何找到SIFT关键点和描述符。 理论 在最后几章中,我们看到了一些角落探测器,如哈里斯等。它们是旋转不变的,这意味着,即使图像旋转了,我们也可以找到相同的角落。这是显而易见的,因为角落在旋转的图像中也是角落。但是缩放呢?如果图像缩放,角落可能不是角落。例如,请查看下面的简单图片。放大同一个窗口时,小窗口内的小图像中的一个角落是平坦的。所以哈里斯的角落不是规模不变的。 因此,2004年,不列颠哥伦比亚大学的 D.Lowe 在他的论文中提出了一种新的算法 - 尺度不变特征变换(SIFT),该算法 从尺度不变关键点 获取 特征图像特征 ,提取关键点并计算其描述符。 (本文很容易理解,并被认为是SIFT上最好的资料,所以这个解释只是本文的一个简短摘要) 。 SIFT算法主要涉及四个步骤。我们将逐一看到他们。 1.尺度空间极值检测 从上图中可以看出,我们不能使用相同的窗口来检测不同比例的关键点。小角落也行。但要检测更大的角落,我们需要更大的窗口。为此,使用缩放空间滤波。其中,高斯拉普拉斯可以找到具有各种 值的图像。LoG作为一个斑点检测器,可以检测由于变化而产生的各种大小的斑点 。总之, 作为缩放参数。例如,在上面的图像中,低的高斯内核 为小角部提供高值,而高斯内核高度 适合较大的角部。因此

机器学习公开课笔记(9):异常检测和推荐系统

大兔子大兔子 提交于 2020-03-18 10:53:17
异常检测(Anomaly Detection) 基本假设:多数情况下数据点落入正常的取值范围,但是当异常行为发生时,数据点的取值落入正常取值范围之外(如图1所示)。所以可以利用高斯分布,计算行为发生的概率,如果是概率小于给定阈值,则认为发生了异常行为。基本过程是利用训练数据点建立模型$p(x)$,对于新的数据点$x_{new}$, 如果$p(x_{new})<\epsilon$则发生异常;否则正常。异常检测的应用包括: 欺诈检测(Fraud detection) 制造业(Manufacturing) 数据中心监视电脑(Monitering computers in data center) 图1 异常行为(Outlier Point)发生示例 高斯分布 对于一元高斯分布$x \sim N(\mu, \sigma^2)$,表达式如下,其中$\mu$表示均值,对应于分布的对称轴;$\sigma$表示数据点的离散程度,$\sigma$越大函数图像的下端张口越大峰值越低;反之$\sigma$越小,图像下端张口越小,峰值越高,如图2所示。 $$p(x;\mu, \sigma^2)=\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(x-\mu)^2}{2\sigma^2})$$ 图2 不同参数($\mu, \sigma$)取值下的一元高斯分布 参数估计

华为高斯GaussDB T数据库实战培训(7小时速成版)

六眼飞鱼酱① 提交于 2020-03-16 13:27:09
为满足各位学员对新技术的学习需求,让大家快速入门学习高斯GaussDB国产数据库,风哥推出了华为GaussDB T数据库实战培训教程(速成版),主要包括内容:GaussDB T数据库基础知识、GaussDB T单机安装配置、GaussDB T HA主备安装配置、GaussDB T分布式集群安装配置、GaussDB T数据库管理入门。 风哥推出的华为高斯GaussDB T视频学习地址: https://edu.51cto.com/course/22140.html 欢迎加入Oracle/MySQL/GaussDB数据库学习专用QQ群: 189070296、199479729 二、华为高斯GaussDB T数据库实战培训(速成版),风哥视频教程学习大纲 第一部分:GaussDB T数据库基础知识 1)GaussDB T数据库概述 2)GaussDB T数据库部署方案 3)GaussDB T主要技术指标 4)GaussDB T数据库和实例介绍 5)GaussDB T SQL语言分类 6)GaussDB T使用场景案例 第二部分:GaussDB T单机安装配置 1)GaussDB T学习环境规划 2)GaussDB T操作系统安装 3)GaussDB T单机安装过程 第三部分:GaussDB T HA主备安装配置 1)GaussDB T HA主备配置 2)GaussDB T HA保护模式

EM算法-混合高斯模型

安稳与你 提交于 2020-03-11 17:16:24
最近在学EM算法,看到大佬写的博客很好,我仅转载:https://blog.csdn.net/coldnoble/article/details/41625911?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522158390483919725211958727%2522%252C%2522scm%2522%253A%252220140713.130056874…%2522%257D&request_id=158390483919725211958727&biz_id=0&utm_source=distribute.pc_search_result.none-task 最近在看李航的《统计学习方法》一书,关于EM算法部分收集了些资料进行了学习,做了些混合高斯的模拟,下面分三个部分介绍下相关内容:1)EM算法原理,2)混合高斯推导,3)相关代码和结果 一、EM算法原理 EM算法推导中一个重要的概念是 Jensen 不等式 。 其表述为:如果 为凸函数( ), 则有 , 当且仅当 的时候不等式两边等号才成立。 如果概率模型只针对观测样本 ,那么根据 的观测值,可以通过极大似然或贝叶斯估计法估计其参数 。但是,如果概率模型不仅包含观测样本 ,还含有隐变量 (无法观测其值),这时就需要EM算法来估计隐 变量 和 观测样本

非参数估计-高斯核平滑Gaussian kernel smoothing-非参数密度估计

↘锁芯ラ 提交于 2020-03-11 03:39:22
目录 1 非参数回归-核平滑 1.1 概念和计算 1.2 Nadaraya-Watson回归 1.3 高斯核 2 高斯核平滑过程-Python实现 2.1 加载库和生成数据 2.2 Full Width at Half Maximum (FWHM) 2.3 分步进行平滑 2.4 二维平滑 2.5 为什么要进行平滑 3 非参数密度估计(Non-parametric density estimation) 3.1 直方图 3.2 非参数密度估计的通常形式 3.3 Parzen windows 3.4 Smooth kernels 3.4.1 概念-为什么选择? 3.4.2 如何选择Bandwidth 4 总结 1 非参数回归-核平滑 1.1 概念和计算 非参数化回归 是指并不需要知道总的分布的情况下进行的一种统计推断回归方法。 核平滑 是一种用来估计实值方程的统计方法,其实也就是一种非参数回归。核平滑来作为周围观察数据的 加权平均值 。权重由核确定,比如越近的数据权重越大。估计方程式平滑的,平滑程度由一个参数控制。 当预测变量的 维度小 时(p < 3),这个技术是最有效的,比如对于数据可视化。 计算过程如下: 参数意义如下: 令Y(X) 是一个关于X的连续函数。对于每一个X0,Nadaraya-Watson 加权平均值为 (smooth Y(X) estimation) 1.2

GMM算法应用实例介绍及参数详解

坚强是说给别人听的谎言 提交于 2020-03-10 19:30:26
GMM,高斯混合模型,也可以简写为MOG。高斯模型就是用高斯概率密度函数(正态分布曲线)精确地量化事物,将一个事物分解为若干的基于高斯概率密度函数(正态分布曲线)形成的模型。 高斯混合模型(CMMs)是统计学习理论的基本模型,在可视媒体领域应用广泛。近些年来,随着可视媒体信息的增长和分析技术的深入,GMMs在(纹理)图像分割、视频分析、图像配准、聚类等领域有了进一步的发展。从GMMs的基本模型出发,从理论和应用的角度讨论和分析了GMMs的求解算法,包括EM算法、变化形式等,论述了GMMs的模型选择问题:在线学习和模型约简。在视觉应用领域,介绍了GMMs在图像分段、视频分析、图像配准、图像降噪等领域的扩展模型与方法,详细地阐述了一些最新的典型模型的原理与过程,如用于图像分段的空间约束CMMs、图像配准中的关联点漂移算法。最后,讨论了一些潜在的发展方向与存在的困难问题。 GMM在视觉分析中的应用 1. 图像分段 高斯混合模型在图像分割领域应用广泛,在一般图像上经典过程是将像素映射到特征空间,然后假设特征空间的点由待定参数的GMMs生成,使用EM等算法计算最优的参数值以确定像素的类别。实际上,在图像分割应用中GMMs被看做是一个聚类模型,与特征选择、聚类分析、模型选择、EM算法设计紧密相关。 2. 视频分析 CMMs和相关的统计方法广泛应用于视频分段、目标识别和跟踪、错误消除,为手势识别

行列式学习笔记

試著忘記壹切 提交于 2020-03-09 08:57:36
然而这东西 在OI里 好像并没有什么用 这上面的题不多,洛谷里连标签都没有 1.排列和逆序对 1.1排列 将n个数按任意顺序排序,得到长度为n的排列 显然有 \(n!\) 种不同排列 在一个排列种,对换其中两数,其他数不动,的得到另一个排列,叫做对换 1.2逆序对 对于排列 \(a_1,a_2,\dots a_n\) , \((i,j),i<j,\text{且}a_i>q_j\) 称为一个逆序对 好了可以认为以上都是废话 1.3 奇排列:逆序对数量是奇数 偶排列:逆序对数量是偶数 一些定理: 对换改变排列的奇偶性 设对换 \(a_i,a_j(i\leq j)\) 两个元素 考虑相邻的两个元素对换,逆序对数量 \(+1\text{或}-1\) ,改变排序奇偶性 我们对换 \(a_i,a_j\) 时每次都只对换相邻的两个元素 \(a_i,a_{i+1},\dots,a_j\) \(\rightarrow a_{i+1},a_i,a_{i+2},\dots ,a_j\) \(\rightarrow a_{i+1},a_{i+2},a_i,a_{i+3},\dots,a_j\) \(\dots\) \(\rightarrow a_{i+1},a_{i+2},\dots a_j,a_i\) 然后再用相同的方法把 \(a_j\) 向左移动 移动 \(i\) 时移动 \(j-i\) 次,移动 \

【计算机视觉03】SIFT特征提取与检索

回眸只為那壹抹淺笑 提交于 2020-03-09 00:35:42
本文参考博客:https://blog.csdn.net/fangjian1204/article/details/10522455 文章目录 一、建立高斯差分金字塔 1.基本概念 2.构建高斯金字塔 3.构建Dog金字塔 二、关键点位置确定 1.基本概念 2.DoG局部极值点 3.去除边缘响应 三、关键点方向分配 四、关键点描述 五、匹配 5.1 数据集 5.2 图片的SIFT特征提取 5.3 计算两张图片SIFT特征匹配结果 5.4 检索匹配 六、实验总结 -错误分析 -算法分析 一、建立高斯差分金字塔 1.基本概念 高斯金字塔里有两个概念:组(Octave)和层(Level); 不同大小的图片是组;同样大小的图片,在内部是层; 在同一组内,不同层图像的尺寸是一样的; 2.构建高斯金字塔 高斯金字塔每层中的多幅图像,是通过对同一幅输入图像进行不同尺度的高斯卷积得来的。 高斯金字塔的组数为: 计算高斯模糊的系数σ: σ 为尺度空间坐标, s 为每组中层坐标, σ0 为初始尺度, S 为每组层数(一般层数为3~5)。 根据公式推理可以得到,金字塔组内各层尺度以及组间各图像尺度关系: 相邻两组的同一层尺度为2倍的关系 。 3.构建Dog金字塔 高斯金字塔相邻两层相减,便可以得到 DoG (Difference of Gaussian)金字塔。