统计-参数估计

文章目录

• 基本概念
• 参数估计—点估计
• 1 | 矩估计法
• 1.1 方法
• 1.2 矩估计实例：
• 2 | 极大似然估计
• 2.1 方法
• 2.2 极大似然估计例子
• 3 | 贝叶斯估计
• 3.1 方法
• 3.2 Bayes估计例子
• 4 | 点估计优良性准则
• 4.1 估计量的无偏性
• 4.2 数量指标—均方误差
• 参数估计—区间估计

基本概念

总体： 总体就是一个概率分布。总体分布为指数分布就是指数分布总体，总体分布为正态分布时称为正态分布总统。

总体与分布簇： 仅含一个参数的分布簇称为单参数分布簇，仅含两个参数的分布称为双参数分布簇，含多个参数则为多参数分布簇。有些情况下，只假定总体有一定的概率分布而又不能明确其数学形式，总体分布不能通过若干参数表达出来，这种情况称为非参数总体。

有限总体与无限总体： 指数分布总体与正态分布总体称为无限总体。实际上，现实世界中，多数情况下，总体总是由有限个个体构成，从而其总体总是有限的，其分布也是离散分布，引入无限总体的概念，在概率论上相当于用一个连续分布的总体去逼近这个离散分布。

样本： 按一定的规定从总体中抽出的一部分个体（每个个体同等机会被抽出，以及在这个基础上设立的某种附加条件）

统计量： 完全由样本所决定的量。也就是说统计量只依赖于样本，而不依赖于任何其他未知的量。不依赖于总体分布中所包含的未知参数。

假设$x_1$, $x_2$, $...$, $x_n$为正态总体$N(\mu, \sigma^2)$中抽出的样本，其中$\sigma^2$已知，而$\mu$未知，则：$\bar{x}=\frac{1}{n}(x_1+x_2+...+x_n)$，$x_1+x_2+{x_n}^2/\sigma^2$是统计量，这里$\sigma$为已知，两个量均只由样本所决定。而$x_1-\mu$以及$\bar{x}+\lambda$均不是统计量。

统计量有什么作用
统计量由某种需要而设定。

常见的统计量
样本均值：$\bar{x}=\frac{1}{n}(x_1+x_2+...+x_n)=\frac{1}{n}\sum\limits_1^nx_i$
样本方差：$s^2=\frac{1}{n-1}\sum\limits_1^n(x_i-\bar{x})^2$
样本k阶原点矩：$a_k=\frac{1}{n}\sum\limits_1^nx_i^k$（一介原点矩即分布的期望）
样本k阶中心距：$m_k=\frac{1}{n}\sum\limits_1^n(x_i-\bar{x})^k$ （二阶中心矩即为分布的方差）
次序统计量：$x_{(1)}=min(x_1,x_2,...,x_n)$ ；… ；$x_{(n)}=max(x_1,x_2,...,x_n)$

参数估计—点估计

设统计总体$x~f(x;\theta_1,\theta_2,...,\theta_n)$，此$f(x;\theta_1,\theta_2,...,\theta_n)$可能是其分布密度函数，或分布函数，这里$f(x;\theta_1,\theta_2,...,\theta_n)$设定为总体分布。以正态分布$N(\mu, \sigma^2)$为例，其中$\theta_1=\mu$，$\theta_2=\sigma^2$为其两个参数，该式可以表示为：
$f(x;\theta_1,\theta_2)=\frac{1}{\sqrt{2\pi \theta_2}}e^{-\frac{(x-\theta_1)^2}{2\theta_2}}$
点估计 ：设$x_1$, $x_2$, $...$, $x_n$为从统计总体这种抽出的样本（独立随机样本，简单随机样本），要根据样本对总体分布中参数$\theta_1,\theta_2,...,\theta_n$未知值进行估计，可能是$\theta_1,\theta_2,...,\theta_n$的某一部分，或者他们的某个已知函数$g(\theta_1,\theta_2,...,\theta_n)$，例如要估计$\theta_1$选出合适的统计量：$\tilde{\theta_1}(x_1,x_2,...,x_n)$ ，每确定一组观察值$x_1$, $x_2$, $...$, $x_n$，代入：$\tilde{\theta_1}(x_1,x_2,...,x_n)$之后就得到一个$\theta_1$的估计值。为此目的而构造的统计量：$\tilde{\theta_1}(x_1,x_2,...,x_n)$ 就叫做$\theta_1$的估计量。

由于未知参数$\theta_1$是数轴上的一点，用$\tilde{\theta_1}$去估计$\theta_1$，就相当于由一点去估计另一点，这样的估计叫做点估计。其核心是估计量的选择。

1 | 矩估计法

1.1 方法

即用矩去估计参数，因为假设参数已知时，可以得到相应的矩，这个由参数得到的矩是理论矩，同时假设样本符合相应分布，则由样本可以获得相应的矩，由样本获得的矩是估计矩。二者划等号，就可以用估计矩（已知样本）去估计参数（未知参数）
已知总体x服从$f(x;\theta_1,\theta_2,...,\theta_n)$，及样本$x_1$, $x_2$, $...$, $x_n$，建立矩方程：
$a_i=Ex^i$
其中，$a_i$为样本的原点矩$a_i=\frac{1}{n}({x_1}^i+...+{x_n}^i)$，解方程组得到参数$\theta_1,\theta_2,...,\theta_n$的矩估计量：
$\tilde{\theta_1} = \tilde{\theta_1}(x_1,x_2,...,x_n)$
$\tilde{\theta_2} = \tilde{\theta_2}(x_1,x_2,...,x_n)$
$……$
$\tilde{\theta_n} = \tilde{\theta_n}(x_1,x_2,...,x_n)$

若要估计$g(\theta_1,\theta_2,...,\theta_n)$，则用$g(\tilde{\theta_1},\tilde{\theta_2},...,\tilde{\theta_3})$进行估计

1.2 矩估计实例：

1. 设正态分布$N(\mu, \sigma^2)$，其中$\mu$和$\sigma^2$均未知，现估计两个参数。则可以建立矩方程：
   $\mu=\bar x$ $\sigma^2=m_2$
   若要估计标准差$\sigma$由$\sigma=\sqrt{\sigma^2}=g(\sigma^2)$进行估计
2. 设总体分布为参数$\lambda$的指数分布，$x_1$, $x_2$, $...$, $x_n$为样本，要估计$1/\lambda$。
   因为$1/\lambda$为一介原点矩（因为指数分布的一介原点矩，即期望为$1/\lambda$），由矩方程：$\bar x=1/\lambda$可得$1/\lambda$的矩估计为$\bar x$；另因为总体分布的方差为$1/\lambda_2$，由矩方程$m_2=1/\lambda_2$，也可得到$1/\lambda$的矩估计为$\sqrt{m_2}$。矩估计方法下得出不同的矩估计量$\bar x$和$\sqrt{m_2}$，这里说明同一参数在矩估计法下可能得出不同的统计量
3. 设总体分布为区间$[\theta_1,\theta_2]$上的均匀分布，即x服从$U[\theta_1,\theta_2]$， $x_1$, $x_2$, $...$, $x_n$为独立随机样本。因为均匀分布的期望为$\alpha=(\theta_1+\theta_2)/2$，均匀分布的方差为$\mu_2={(\theta_1+\theta_2)}^2/12$。由这两个矩估计方程，联立方程可求解参数$\theta_1,\theta_2$的矩估计量。

2 | 极大似然估计

2.1 方法

设总体分布x服从$f=(x;\theta_1,\theta_2,...,\theta_k)$；$x_1$, $x_2$, $...$, $x_n$为来自总体的样本，则样本的分布为：
$f(x_1;\theta_1,\theta_2,...,\theta_k)\cdot f(x_2;\theta_1,\theta_2,...,\theta_k)\cdot...\cdot f(x_n;\theta_1,\theta_2,...,\theta_k)$
用$L(x_1,x_2,...,x_n;\theta_1,\theta_2,...,\theta_k)$ 表示，L反映了在此参数$\theta_1,\theta_2,...,\theta_k$下的总体中抽出当前样本$x_1,x_2,...,x_n$的概率（由于每个样本的抽取是独立随机的，所以抽到特定总样本的概率就等于每个样本个体抽取的概率的乘积），在总体分布簇中寻找出那么一组参数，使得在该组参数下总体中出现当前样本的概率最大。
在样本$x_1$, $x_2$, $...$, $x_n$下，称$L(x_1,x_2,...,x_n;\theta_1,\theta_2,...,\theta_k)$