参数估计

为理解下面的知识需要先区分好下面几个概念： 总体均值： \(u\) 总体标准差： \(σ\) 样本均值： \(u'\) 样本标准差： \(σ'\) 样本中符合条件A的占比： \(p'\) 是样本大小： \(n\) 总体大小： \(N\) 抽样 数据分析中，虽然数据越多越齐越好，可是受限于各类因素的制约，我们并不能获取全部的数据。比如Excel的性能限制，比如数据库不支持大文件导出、或者是无法全量进行的用户调研等。 抽样是一种应对方法，通过样本来推断总体，抽样结果提供的仅仅是相应总体特征的估计，「估计」这一点很重要。 抽样有很多方式，样本首要满足随机性。比如进行社会访谈，你不能只选择商场人流区，因为采访到的人群明显是同一类人群，反而会遗漏郊区和乡镇的人群，遗漏宅男，遗漏老人。 互联网产品中，抽样也无处不在，大名鼎鼎的AB测试就是一种抽样，选取一部分人群验证运营策略或者产品改进。通常筛选用户ID末尾的数字，比如末尾选择0～4，于是抽样出了50%的用户，这既能保证随机性，也能保证控制性。 毕竟抽样的目的是验证和检验，需要始终保证用户群体的完全隔离，不能用户一会看到老界面，一会看到改进后的新界面。以上也适用于推荐算法的冠军挑战，用户分群等。 至于放回抽样，分层抽样，在互联网的数据分析中用不太到，这里就略过了。 点估计 设总体 X 的分布函数形式已知, 但它的一个或多个参数为未知,

在机器学习中，我们经常要利用极大似然法近似数据整体的分布，本篇文章通过介绍极大似然法及其一些性质，旨在深入浅出地解释清楚极大似然法。 0. 贝叶斯概率 首先看一下经典的贝叶斯公式： \[ p(Y|X)=\frac{p(X|Y)p(Y)}{p(X)} \] 其中， \(p(Y)\) 称为先验概率( \(prior\) )，即根据先验知识得出的关于变量 \(Y\) 的分布， \(p(X|Y)\) 称为似然函数（ \(likelihood\) ）， \(p(X)\) 为变量 \(X\) 的概率， \(p(Y|X)\) 称之为条件概率（给定变量 \(X\) 的情况下 \(Y\) 的概率， \(posterior\) ，后验概率）。 1. 似然函数 似然，即可能性；顾名思义，则似然函数就是关于可能性的函数了。在统计学中，它表示了模型参数的似然性，即作为统计模型中参数的函数。一般形式如下： \[ L(\omega)=p(D | \omega) = p(x_1, x_2, \cdots ,x_n| \omega) \] 其中， \(D\) 表示样本集 \(\{x_1,x_2,\cdots, x_n\}\) ,   \(\omega\) 表示参数向量。 似然函数表示了在不同的参数向量 \(\omega\) 下，观测数据出现的可能性的大小，它是参数向量 \(\omega\) 的函数。在某种意义上

在机器学习中，我们经常要利用极大似然法近似数据整体的分布，本篇文章通过介绍极大似然法及其一些性质，旨在深入浅出地解释清楚极大似然法。 0. 贝叶斯概率 首先看一下经典的贝叶斯公式： $$ p(Y|X)=\frac{p(X|Y)p(Y)}{p(X)} $$ 其中，$p(Y)$称为先验概率($prior$)，即根据先验知识得出的关于变量$Y$的分布，$p(X|Y)$称为似然函数（$likelihood$），$p(X)$为变量$X$的概率，$p(Y|X)$称之为条件概率（给定变量$X$的情况下$Y$的概率，$posterior$，后验概率）。 1. 似然函数 似然，即可能性；顾名思义，则似然函数就是关于可能性的函数了。在统计学中，它表示了模型参数的似然性，即作为统计模型中参数的函数。一般形式如下： $$ L(\omega)=p(D | \omega) = p(x_1, x_2, \cdots ,x_n| \omega) $$ 其中，$D$表示样本集${x_1,x_2,\cdots, x_n}$,  $\omega$表示参数向量。 似然函数表示了在不同的参数向量$\omega$下，观测数据出现的可能性的大小，它是参数向量$\omega$的函数。在某种意义上，我们可以认为其是条件概率的逆反$^{[1]}$。 在这里利用Wikipedia$^{[1]}$中的例子简要说明一下似然函数

模型参数和超参数 导语 首先，我们来看一下“参数”是什么？ “参数”和“模型”有什么关系？ 什么是模型参数？ 什么是模型超参数？ “模型参数”和“模型超参数” 二者的联系 二者区分 总结 个人理解 w,b参数 导语 机器学习中的模型参数和模型超参数在作用、来源等方面都有所不同，而模型超参数常被称为模型参数，这样，很容易对初学者造成混淆。本文给出了模型参数和模型超参数的定义，并进行了对比，指出了二者本质上的区别：模型参数是模型内部的配置变量，可以用数据估计模型参数的值；模型超参数是模型外部的配置，必须手动设置参数的值。 我们在做研究的时候，会碰到很多术语。有时，在不同的研究领域还会出现同样名称的术语。比如，统计学、经济学中经常使用的“模型参数”和“模型超参数”，在机器学习中也同样存在。 机器学习领域中的“模型参数”“模型超参数”在作用、来源等方面都有所不同，初学者如果对二者没有明确的认识，学习起来往往会比较吃力，尤其是那些来自统计学和经济学领域的初学者们。 为了让大家在应用机器学习时，对“参数模型”和“超参数模型”有一个清晰的界定，在这篇文章中，我们将具体讨论这两个术语。 首先，我们来看一下“参数”是什么？ 参数作为模型从历史训练数据中学到的一部分，是机器学习算法的关键。 统计学中的“参数”： 在统计学中，你可以假设一个变量的分布，比如高斯分布。高斯分布的两个参数分别是平均值（μ

区间估计 有偏或无偏是可以估计出来的，直接用公式计算得到。 Eg ：样本均值的均值是总体均值的无偏估计。总体离均差的均值是总体方差，但是样本离均差的均值不是总体方差的无偏估计，而样本方差是总体方差的无偏估计，所以采用样本方差计算总体方差。 当知道方差时，估计出的均值区间小，当不知道方差时，估计出的均值区间大。因为多知道一个参数则区间估计更准确。 对方差估计时，得到的抽样分布并不对称，选择面积相等的两块并没有的得到估计区间最小，但这样计算方便。 比较两个总体的各自参数的关系，就是估计它们之间关系的参数究竟几何。比较均值时比较大小就是考查差是否为零，比较方差时比较大小是考查商是否为 1 ，所以问题就成了估计该值是否为某一个数。这就变成了参数估计的内容。 来源： https://www.cnblogs.com/yuanjingnan/p/11565631.html

———————————————— 版权声明：本文为CSDN博主「知行流浪」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。 原文链接： https://blog.csdn.net/zengxiantao1994/article/details/72787849 极大似然估计 以前多次接触过极大似然估计，但一直都不太明白到底什么原理，最近在看贝叶斯分类，对极大似然估计有了新的认识，总结如下： 贝叶斯决策 首先来看贝叶斯分类，我们都知道经典的贝叶斯公式： 其中：p(w)：为先验概率，表示每种类别分布的概率；：类条件概率，表示在某种类别前提下，某事发生的概率；而为后验概率，表示某事发生了，并且它属于某一类别的概率，有了这个后验概率，我们就可以对样本进行分类。后验概率越大，说明某事物属于这个类别的可能性越大，我们越有理由把它归到这个类别下。 我们来看一个直观的例子：已知：在夏季，某公园男性穿凉鞋的概率为1/2，女性穿凉鞋的概率为2/3，并且该公园中男女比例通常为2:1，问题：若你在公园中随机遇到一个穿凉鞋的人，请问他的性别为男性或女性的概率分别为多少？ 从问题看，就是上面讲的，某事发生了，它属于某一类别的概率是多少？即后验概率。 设： 由已知可得： 男性和女性穿凉鞋相互独立，所以 （若只考虑分类问题，只需要比较后验概率的大小，的取值并不重要）。

最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种参数估计方法，如果不理解这两种方法的思路，很容易弄混它们。下文将详细说明MLE和MAP的思路与区别。 但别急，我们先从概率和统计的区别讲起。 概率和统计是一个东西吗？ 概率（probabilty）和统计（statistics）看似两个相近的概念，其实研究的问题刚好相反。 概率研究的问题是，已知一个模型和参数，怎么去预测这个模型产生的结果的特性（例如均值，方差，协方差等等）。 举个例子，我想研究怎么养猪（模型是猪），我选好了想养的品种、喂养方式、猪棚的设计等等（选择参数），我想知道我养出来的猪大概能有多肥，肉质怎么样（预测结果）。 统计研究的问题则相反。统计是，有一堆数据，要利用这堆数据去预测模型和参数。仍以猪为例。现在我买到了一堆肉，通过观察和判断，我确定这是猪肉（这就确定了模型。在实际研究中，也是通过观察数据推测模型是／像高斯分布的、指数分布的、拉普拉斯分布的等等），然后，可以进一步研究，判定这猪的品种、这是圈养猪还是跑山猪还是网易猪，等等（推测模型参数）。 一句话总结： 概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。 显然，本文解释的MLE和MAP都是统计领域的问题

转载声明：本文为转载文章，发表于nebulaf91的csdn博客。欢迎转载，但请务必保留本信息，注明文章出处。 原文作者: nebulaf91 原文原始地址： http://blog.csdn.net/u011508640/article/details/72815981 最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种参数估计方法，如果不理解这两种方法的思路，很容易弄混它们。下文将详细说明MLE和MAP的思路与区别。 但别急，我们先从概率和统计的区别讲起。 概率和统计是一个东西吗？ 概率（probabilty）和统计（statistics）看似两个相近的概念，其实研究的问题刚好相反。 概率研究的问题是，已知一个模型和参数，怎么去预测这个模型产生的结果的特性（例如均值，方差，协方差等等）。 举个例子，我想研究怎么养猪（模型是猪），我选好了想养的品种、喂养方式、猪棚的设计等等（选择参数），我想知道我养出来的猪大概能有多肥，肉质怎么样（预测结果）。 统计研究的问题则相反。统计是，有一堆数据，要利用这堆数据去预测模型和参数。仍以猪为例。现在我买到了一堆肉，通过观察和判断，我确定这是猪肉（这就确定了模型。在实际研究中

本文的出发点是一篇期刊论文，但集中探讨的是这篇文章中 不确定度估计的原理与过程 ，行文将与之前的文献报告不同。 原文 Bhattacharyya A , Fritz M , Schiele B . Long-Term On-Board Prediction of People in Traffic Scenes under Uncertainty[J]. 2017. 原文的一篇重要引用文献 Kendall A , Gal Y . What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?[J]. 2017. 关键词与基础概念 ： 车载视角、行人框预测、认知不确定性、偶然不确定性、采样、伯努利分布与dropout变分推断、蒙特卡洛积分、贝叶斯定理与贝叶斯推断、贝叶斯网络 近日在阅读“Long-Term On-Board Prediction of People in Traffic Scenes Under Uncertainty”，文章所提出的模型功能是基于车载移动视角对行人框位置做出预测，并能够同时评估两类不确定度（模型不确定度，数据不确定度）。 对神经网络的不确定度估计 涉及较多概率论的知识，而且从理论到应用的转化也涉及到使用近似量估计的问题，因此初次接触这部分知识该我带来了不小的挑战

参数估计就是用样本统计量$\hat{\theta }$去估计总体的参数$\theta$，用来估计总体参数的统计量称为估计量，根据一个具体样本计算出来的估计量的数值称为估计值。 基本原理 点估计 点估计就是用样本统计量$\hat{\theta }$的某个取值直接作为总体参数$\theta$的估计值。由于样本是随机的，由样本得到的估计值很可能不等于总体真值，所以需要说明点估计值与总体参数真值接近的程度。 区间估计 区间估计是在点估计的基础上，给出总体参数估计的一个区间，该区间通常由样本统计量加减估计误差得到。 例如，在重复抽样下，样本均值的数学期望等于总体均值，$E(\bar{X})=\mu$，标准差$\sigma_X=\frac{\sigma}{\sqrt{n}}$，可知$\bar{X}$取值落在$\mu$的左右2个标准差范围内的概率为0.95。但在进行参数估计时，情况恰好相反。$\bar{X}$是已知的，$\mu$是未知的，此时$\mu$被包含在以$\bar{X}$为中心的左右2个标准差的范围内，这种情况下，有95%的样本均值会落在$\mu$的2个标准差范围之内。也就是说，有95%的样本均值所构造的2个标准差的区间会包括$\mu%。 由样本统计量所构造的总体参数的估计区间称为置信区间。将构造置信区间的过程重复多次，得到多个置信区间，在这些置信区间中