参数估计

文章目录 基本概念 参数估计—点估计 1 | 矩估计法 1.1 方法 1.2 矩估计实例： 2 | 极大似然估计 2.1 方法 2.2 极大似然估计例子 3 | 贝叶斯估计 3.1 方法 3.2 Bayes估计例子 4 | 点估计优良性准则 4.1 估计量的无偏性 4.2 数量指标—均方误差 参数估计—区间估计 基本概念 总体： 总体就是一个概率分布。总体分布为指数分布就是指数分布总体，总体分布为正态分布时称为正态分布总统。 总体与分布簇： 仅含一个参数的分布簇称为单参数分布簇，仅含两个参数的分布称为双参数分布簇，含多个参数则为多参数分布簇。有些情况下，只假定总体有一定的概率分布而又不能明确其数学形式，总体分布不能通过若干参数表达出来，这种情况称为非参数总体。 有限总体与无限总体： 指数分布总体与正态分布总体称为无限总体。实际上，现实世界中，多数情况下，总体总是由有限个个体构成，从而其总体总是有限的，其分布也是离散分布，引入无限总体的概念，在概率论上相当于用一个连续分布的总体去逼近这个离散分布。 样本： 按一定的规定从总体中抽出的一部分个体（每个个体同等机会被抽出，以及在这个基础上设立的某种附加条件） 统计量： 完全由样本所决定的量。也就是说统计量只依赖于样本，而不依赖于任何其他未知的量。不依赖于总体分布中所包含的未知参数。 假设 x 1 x_1 x 1 ​ , x 2 x_2 x

文章目录 基本概念 参数估计—点估计 1 | 矩估计法 1.1 方法 1.2 矩估计实例： 2 | 极大似然估计 2.1 方法 2.2 极大似然估计例子 3 | 贝叶斯估计 3.1 方法 3.2 Bayes估计例子 4 | 点估计优良性准则 4.1 估计量的无偏性 4.2 数量指标—均方误差 参数估计—区间估计 基本概念 总体： 总体就是一个概率分布。总体分布为指数分布就是指数分布总体，总体分布为正态分布时称为正态分布总统。 总体与分布簇： 仅含一个参数的分布簇称为单参数分布簇，仅含两个参数的分布称为双参数分布簇，含多个参数则为多参数分布簇。有些情况下，只假定总体有一定的概率分布而又不能明确其数学形式，总体分布不能通过若干参数表达出来，这种情况称为非参数总体。 有限总体与无限总体： 指数分布总体与正态分布总体称为无限总体。实际上，现实世界中，多数情况下，总体总是由有限个个体构成，从而其总体总是有限的，其分布也是离散分布，引入无限总体的概念，在概率论上相当于用一个连续分布的总体去逼近这个离散分布。 样本： 按一定的规定从总体中抽出的一部分个体（每个个体同等机会被抽出，以及在这个基础上设立的某种附加条件） 统计量： 完全由样本所决定的量。也就是说统计量只依赖于样本，而不依赖于任何其他未知的量。不依赖于总体分布中所包含的未知参数。 假设 x 1 x_1 x 1 ​ , x 2 x_2 x

文章目录 基本概念 参数估计—点估计 1 | 矩估计法 1.1 方法 1.2 矩估计实例： 2 | 极大似然估计 2.1 方法 2.2 极大似然估计例子 3 | 贝叶斯估计 3.1 方法 3.2 Bayes估计例子 4 | 点估计优良性准则 4.1 估计量的无偏性 4.2 数量指标—均方误差 参数估计—区间估计 基本概念 总体： 总体就是一个概率分布。总体分布为指数分布就是指数分布总体，总体分布为正态分布时称为正态分布总统。 总体与分布簇： 仅含一个参数的分布簇称为单参数分布簇，仅含两个参数的分布称为双参数分布簇，含多个参数则为多参数分布簇。有些情况下，只假定总体有一定的概率分布而又不能明确其数学形式，总体分布不能通过若干参数表达出来，这种情况称为非参数总体。 有限总体与无限总体： 指数分布总体与正态分布总体称为无限总体。实际上，现实世界中，多数情况下，总体总是由有限个个体构成，从而其总体总是有限的，其分布也是离散分布，引入无限总体的概念，在概率论上相当于用一个连续分布的总体去逼近这个离散分布。 样本： 按一定的规定从总体中抽出的一部分个体（每个个体同等机会被抽出，以及在这个基础上设立的某种附加条件） 统计量： 完全由样本所决定的量。也就是说统计量只依赖于样本，而不依赖于任何其他未知的量。不依赖于总体分布中所包含的未知参数。 假设 x 1 x_1 x 1 ​ , x 2 x_2 x

文章目录 基本概念 参数估计—点估计 1 | 矩估计法 1.1 方法 1.2 矩估计实例： 2 | 极大似然估计 2.1 方法 2.2 极大似然估计例子 3 | 贝叶斯估计 3.1 方法 3.2 Bayes估计例子 4 | 点估计优良性准则 4.1 估计量的无偏性 4.2 数量指标—均方误差 参数估计—区间估计 基本概念 总体： 总体就是一个概率分布。总体分布为指数分布就是指数分布总体，总体分布为正态分布时称为正态分布总统。 总体与分布簇： 仅含一个参数的分布簇称为单参数分布簇，仅含两个参数的分布称为双参数分布簇，含多个参数则为多参数分布簇。有些情况下，只假定总体有一定的概率分布而又不能明确其数学形式，总体分布不能通过若干参数表达出来，这种情况称为非参数总体。 有限总体与无限总体： 指数分布总体与正态分布总体称为无限总体。实际上，现实世界中，多数情况下，总体总是由有限个个体构成，从而其总体总是有限的，其分布也是离散分布，引入无限总体的概念，在概率论上相当于用一个连续分布的总体去逼近这个离散分布。 样本： 按一定的规定从总体中抽出的一部分个体（每个个体同等机会被抽出，以及在这个基础上设立的某种附加条件） 统计量： 完全由样本所决定的量。也就是说统计量只依赖于样本，而不依赖于任何其他未知的量。不依赖于总体分布中所包含的未知参数。 假设 x 1 x_1 x 1 ​ , x 2 x_2 x

文章目录 基本概念 参数估计—点估计 1 | 矩估计法 1.1 方法 1.2 矩估计实例： 2 | 极大似然估计 2.1 方法 2.2 极大似然估计例子 3 | 贝叶斯估计 3.1 方法 3.2 Bayes估计例子 4 | 点估计优良性准则 4.1 估计量的无偏性 4.2 数量指标—均方误差 参数估计—区间估计 基本概念 总体： 总体就是一个概率分布。总体分布为指数分布就是指数分布总体，总体分布为正态分布时称为正态分布总统。 总体与分布簇： 仅含一个参数的分布簇称为单参数分布簇，仅含两个参数的分布称为双参数分布簇，含多个参数则为多参数分布簇。有些情况下，只假定总体有一定的概率分布而又不能明确其数学形式，总体分布不能通过若干参数表达出来，这种情况称为非参数总体。 有限总体与无限总体： 指数分布总体与正态分布总体称为无限总体。实际上，现实世界中，多数情况下，总体总是由有限个个体构成，从而其总体总是有限的，其分布也是离散分布，引入无限总体的概念，在概率论上相当于用一个连续分布的总体去逼近这个离散分布。 样本： 按一定的规定从总体中抽出的一部分个体（每个个体同等机会被抽出，以及在这个基础上设立的某种附加条件） 统计量： 完全由样本所决定的量。也就是说统计量只依赖于样本，而不依赖于任何其他未知的量。不依赖于总体分布中所包含的未知参数。 假设 x 1 x_1 x 1 ​ , x 2 x_2 x

原文链接： 极大似然估计（MLE）学习总结 《每天解决一个知识点系列》 估计能翻到这一页博文的盆友都是行走在机器学习/数据挖掘的路上吧，自学之路真的苦不堪言，于是下定决心把自己学到的知识点记下来，和初入机器学习之坑的基友们一起显摆显摆。话不多说，我将从一个小白的角度解读一下我对极大似然估计的理解（我比较喜欢这样叫，但为了学习方便，我采取官方说法），各位看官请往下看。 -------------------------------我是羞羞的分割线------------------------------------- 我是比较喜欢概率论的东西，对于最大似然估计的概念大家可以通俗理解为用观察去猜测真实概率。比如给定一组观察得到的样本数据X，我们无法知晓这个随机变量（其实是某个事件发生的属性值，它有多重取值可能）真实的概率分布函数是怎样的。这时候我们希望通过收集到的样本数据去猜哪个参数会影响分布函数使得最终呈现出我们观察到的这些样本。 不过，我们聪明的统计学家已经为我们观察到了复杂世界存在的各种概率分布情况及其对应的计算公式，如“正态分布”、“二项分布”、“泊松分布”等。但细心的同学们一定会发现这些所谓的分布发生的概率是有规律的，有各自的计算公式，如假设随机事件X服从均值为 µ ，方差为 σ 2 的正态分布函数，那么事件X发生的概率如下： 式1-1 但我们是不知道如何参数 µ和

参数估计 就是 根据样本统计量的数值对总体参数进行估计 的过程。根据参数估计的性质不同，可以分成两种类型：点估计和区间估计。 点估计 点估计就是 用样本统计量的某一具体数值直接推断未知的总体参数 。例如，在进行有关小学生身高的研究中，随机抽取1000名小学生并计算出他们的平均身高为1.46米。如果直接用这个1.46米代表所有小学生的平均身高，那么这种估计方法就是点估计。 对总体参数 进行点估计常用的方法有两种：矩估计与最大似然估计 ，其中最大似然估计就是我们实际中使用非常广泛的一种方法。 按这两种方法对总体参数进行点估计，能够得到相对准确的结果。如 用样本均值X估计总体均值 ，或者 用样本标准差S估计总体标准差σ 。 点估计有一个不足之处，即这种估计方法不能提供估计参数的估计误差大小。对于一个总体来说，它的总体参数是一个常数值，而它的样本统计量却是随机变量。当用随机变量去估计常数值时，误差是不可避免的， 只用一个样本数值去估计总体参数是要冒很大风险的。因为这种误差风险的存在，并且风险的大小还未知 ，所以，点估计主要为许多定性研究提供一定的参考数据，或在对总体参数要求不精确时使用，而在需要用精确总体参数的数据进行决策时则很少使用。 区间估计 区间估计就是在推断总体参数时，还要根据统计量的抽样分布特征， 估计出总体参数的一个区间，而不是一个数值 ，

本文主要是为了区分极大似然估计、最大后验估计、贝叶斯估计的异同。对三种方法的详细步骤不做阐述。 贝叶斯公式：分母的全概率公式是用来求P（B） B为观测变量，A为待求参数。 极大似然估计： 极大似然估计认为A为一个常数，于是P（A）=1. 而且它只需求出最大值所在的点，因此求导为0即可。 解释一下 ‘’‘ 如抛硬币5正4负，设正面概率为p，则 F（p）=a * p^5 * (1-p)^4 式中p的阶数5和 1-p的阶数4均为观测的参数 a为与待求参数无关的部分（对求p的导无影响） 此时对p求导令其为0求取得极值的p即为我们要求的p。 ’‘’ 回到整体 最大后验估计： 认为参数A亦服从一分布，但是其求出来的参数也是为一个数字，只不过P（A）不为1变成了一个概率分布（先验概率）。其还是求最大值，因此还是求导为0即可，因为我们只需要求出导数为0（取得最值）的点，因此与所求参数无关的例如贝叶斯公式的分母P（B），我们完全可以忽略令其为一个常数即可。 贝叶斯估计： 贝叶斯估计也认为参数A服从一先验分布，但是求出的参数A不是一个具体的数字了，而是一个分布，因此此时我们不能用简单粗暴的直接求导求解，贝叶斯公式所有的部分我们均需要求解，因此之前极大似然/后验估计中我们忽略的P（B）就要纳入考虑。之前不考虑是因为我们只需要对参数求导为0。原先的式子变成了一个关于参数的函数例如F（A）。 此时贝叶斯公式

无偏估计 所谓总体参数估计量的无偏性指的是 ， 基于不同的样本，使用该估计量可算出多个估计值，但它们的平均值等于被估参数的真值。 在某些场合下，无偏性的要求是有实际意义的。例如，假设在某厂商与某销售商之间存在长期的供货关系，则在对产品出厂质量检验方法的选择上，采用随机抽样的方法来估计次品率就很公平。这是因为从长期来看，这种估计方法是无偏的。比如这一次所估计出来的次品率实际上偏高，厂商吃亏了；但下一次的估计很可能偏低，厂商的损失就可以补回来。由于双方的交往会长期多次发生 ， 这时采用无偏估计，总的来说可以达到互不吃亏的效果。 不过，在某些场合中，无偏性的要求毫无实际意义。这里又有两种情况：一种情况是在某些场合中不可能发生多次抽样。例如，假设在某厂商和某销售商之间只会发生一次买卖交易，此后不可能再发生第二次商业往来。这时双方谁也吃亏不起，这里就没有什么“平均”可言。另一种情况则是估计误差不可能相互补偿，因此“平均”不得。例如，假设需要通过试验对一个批量的某种型号导弹的系统误差做出估计。这个时候，既使我们的估计的确做到了无偏，但如果这一批导弹的系统误差实际上要么偏左，要么偏右，结果只能是大部分导弹都不能命中目标，不可能存在“偏左”与“偏右”相互抵消，从而“平均命中”的概念。 由此可见，具有无偏性的估计量不一定就是我们“最需要”的“恰当”估计量 在概率论和数量统计中，学习过无偏估计

1 问题 之前我们考虑的训练数据中样例 的个数m都远远大于其特征个数n，这样不管是进行回归、聚类等都没有太大的问题。然而当训练样例个数m太小，甚至m<<n的时候，使用梯度下降法进行回归时，如果初值不同，得到的参数结果会有很大偏差（因为方程数小于参数个数）。另外，如果使用多元高斯分布(Multivariate Gaussian distribution)对数据进行拟合时，也会有问题。让我们来演算一下，看看会有什么问题： 多元高斯分布的参数估计公式如下： 分别是求mean和协方差的公式， 表示样例，共有m个，每个样例n个特征，因此 是n维向量， 是n*n协方差矩阵。 当m<<n时，我们会发现 是奇异阵（ ），也就是说 不存在，没办法拟合出多元高斯分布了，确切的说是我们估计不出来 。 如果我们仍然想用多元高斯分布来估计样本，那怎么办呢？ 2 限制协方差矩阵 当没有足够的数据去估计 时，那么只能对模型参数进行一定假设，之前我们想估计出完全的 （矩阵中的全部元素），现在我们假设 就是对角阵（各特征间相互独立），那么我们只需要计算每个特征的方差即可，最后的 只有对角线上的元素不为0 回想我们之前讨论过的二维多元高斯分布的几何特性，在平面上的投影是个椭圆，中心点由 决定，椭圆的形状由 决定。 如果变成对角阵，就意味着椭圆的两个轴都和坐标轴平行了。 如果我们想对 进一步限制的话