beta分布

贝叶斯笔记

回眸只為那壹抹淺笑 提交于 2019-12-04 21:26:32
绪论 贝叶斯学派的最基本的观点是: 任一个未知量 \(\theta\) 都可看作一个随机变量,应该用一个概率分布去描述对 \(\theta\) 的未知状况。 这个概率分布是在抽样前就有的关于 \(\theta\) 的先验信息的概率称述。 似然函数 属于联合密度函数,综合了总体信息和样本信息 \[ L(\theta^\prime)=p(X|\theta^\prime)=\prod_{i=1}^n p(x_i|\theta^\prime) \] 贝叶斯公式的密度函数形式与离散形式,其中 \(\theta\) 的条件分布称为 \(\theta\) 的后验分布,集中了总体、样本和先验等三种信息中有关 \(\theta\) 的一切信息,排除了与之无关的信息。一般先验分布 \(\pi(\theta)\) 反映人们抽样前的认识,通过抽样信息(总体信息和样本信息)对先验进行调整形成后验分布。 \[ \pi(\theta|\pmb{x})=\frac{p(\pmb{x}|\theta)\pi(\theta)}{h(\pmb{x},\theta)}=\frac{p(\pmb{x}|\theta)\pi(\theta)}{\int_{\Theta} {p(\pmb{x}|\theta)\pi(\theta)}\rm d\theta} \] \[ \pi(\theta_i|x)=\frac{p(x|

埃尔朗分布的随机数

这一生的挚爱 提交于 2019-12-01 10:21:07
一、功能 产生埃尔朗分布的随机数。 二、方法简介 埃尔朗分布的概率密度函数为 \[ f(x)=\left\{\begin{matrix} \frac{\beta ^{-m}x^{m-1}}{(m-1)!}e^{-\frac{x}{\beta }} & x\geqslant 0,\beta > 0\\ 0 & x< 0 \end{matrix}\right. \] 通常用 \(E(m,\beta )\) 表示。埃尔朗分布的均值为 \(m\beta\) ,方差为 \(m\beta^2\) 。显然,当 \(m=1\) 时, \(E(m,\beta )\) 就是参数为 \(beta\) 的指数分布的概率密度函数。 若 \(y_i(i = 1,2,...,m)\) 是独立同分布的参数为 \(beta\) 的指数随机变量,则 \(x=\sum_{i=1}^{m}y_{i}\) 服从埃尔朗分布 \(E(m,\beta )\) 。因此,先用逆变换法产生指数分布的随机变量 \(y_i(y_i=-\beta \, ln(u_i),u_i \sim U(0,1))\) ,然后产生埃尔朗分布的随机变量 \(x\) ,即 \[ x=\sum_{i = 1}^{m}y_{i}=\sum_{i = 1}^{m}(-\beta \, ln(u_{i}))=-\beta \, ln\left ( \prod_{i

韦伯分布的随机数

二次信任 提交于 2019-12-01 10:21:06
一、功能 产生韦伯分布的随机数。 二、方法简介 韦伯分布的概率密度函数为 \[ f(x)=\left\{\begin{matrix} \frac{\alpha }{\beta^{\alpha } }x^{\alpha -1}e^{-(\frac{x}{\beta })^{\alpha }} & x\geqslant 0,a> 0,\beta > 0\\ 0 & x< 0 \end{matrix}\right. \] 通常用 \(W(\alpha ,\beta )\) 表示,其分布函数为 \[ F(x)=\left\{\begin{matrix} 1 - e^{-(\frac{x}{\beta })^{\alpha }} & x\geqslant 0,a> 0,\beta > 0\\ 0 & x< 0 \end{matrix}\right. \] 韦伯分布的均值为 \(\frac{\beta }{\alpha }\Gamma \left ( \frac{1}{\alpha } \right )\) 。 用逆变换法,我们产生韦伯分布随机变量 \(x\) 的算法如下: 产生均匀分布的随机数 \(u\) ,即 \(u \sim U(0,1)\) ; 计算 \(x=\beta (-ln(u))^{1/\alpha }\) ; 三、使用说明 是用C语言实现产生韦伯分布随机数的方法如下: /**

机器学习-LDA主题模型笔记

左心房为你撑大大i 提交于 2019-12-01 02:05:22
LDA常见的应用方向:   信息提取和搜索(语义分析);文档分类/聚类、文章摘要、社区挖掘;基于内容的图像聚类、目标识别(以及其他计算机视觉应用);生物信息数据的应用; 对于朴素贝叶斯模型来说,可以胜任许多文本分类问题,但无法解决语料中一词多义和多词一义的问题--它更像是词法分析,而非语义分析。如果使用词向量作为文档的特征,一词多义和多词一义会造成计算文档间相似度的不准确性。LDA模型通过 增加“主题” 的方式,一定程度的解决上述问题:   一个词可能被映射到多个主题中,即,一词多义。多个词可能被映射到某个主题的概率很高,即,多词一义。 LDA涉及的主要问题 1)共轭先验分布 2)Dirichlet分布 3)LDA模型   Gibbs采样算法学习参数 共轭先验分布   由于x为给定样本,P(x)有时被称为“证据”,仅仅是归一化因子,如果不关心P(θ|x)的具体值,只考察θ取何值时后验概率P(θ|x)最大,则可将分母省去。         在贝叶斯概率理论中,如果后验概率P(θ|x)和先验概率p(θ)满足同样的分布律,那么,先验分布和后验分布被叫做共轭分布,同时,先验分布叫做似然函数的共轭先验分布。 Dirichlet分布   在学习Dirichlet分布之前先复习以下二项分布的最大似然估计:   投硬币试验中,进行N次独立试验,n次朝上,N-n次朝下。假定朝上的概率为p