统计-参数估计 | 易学教程

假设 $x_1$ , $x_2$ , $...$ , $x_n$ 为正态总体 $N(\mu, \sigma^2)$ 中抽出的样本，其中 $\sigma^2$ 已知，而 $\mu$ 未知，则： $\bar{x}=\frac{1}{n}(x_1+x_2+...+x_n)$ ， $x_1+x_2+{x_n}^2/\sigma^2$ 是统计量，这里 $\sigma$ 为已知，两个量均只由样本所决定。而 $x_1-\mu$ 以及 $\bar{x}+\lambda$ 均不是统计量。

统计量有什么作用
统计量由某种需要而设定。

常见的统计量
样本均值： $\bar{x}=\frac{1}{n}(x_1+x_2+...+x_n)=\frac{1}{n}\sum\limits_1^nx_i$
样本方差： $s^2=\frac{1}{n-1}\sum\limits_1^n(x_i-\bar{x})^2$
样本k阶原点矩： $a_k=\frac{1}{n}\sum\limits_1^nx_i^k$ （一介原点矩即分布的期望）
样本k阶中心距： $m_k=\frac{1}{n}\sum\limits_1^n(x_i-\bar{x})^k$ （二阶中心矩即为分布的方差）
次序统计量： $x_{(1)}=min(x_1,x_2,...,x_n)$ ；… ； $x_{(n)}=max(x_1,x_2,...,x_n)$

参数估计—点估计

设统计总体 $x~f(x;\theta_1,\theta_2,...,\theta_n)$ ，此 $f(x;\theta_1,\theta_2,...,\theta_n)$ 可能是其分布密度函数，或分布函数，这里 $f(x;\theta_1,\theta_2,...,\theta_n)$ 设定为总体分布。以正态分布 $N(\mu, \sigma^2)$ 为例，其中 $\theta_1=\mu$ ， $\theta_2=\sigma^2$ 为其两个参数，该式可以表示为：
$f(x;\theta_1,\theta_2)=\frac{1}{\sqrt{2\pi \theta_2}}e^{-\frac{(x-\theta_1)^2}{2\theta_2}}$
点估计：设 $x_1$ , $x_2$ , $...$ , $x_n$ 为从统计总体这种抽出的样本（独立随机样本，简单随机样本），要根据样本对总体分布中参数 $\theta_1,\theta_2,...,\theta_n$ 未知值进行估计，可能是 $\theta_1,\theta_2,...,\theta_n$ 的某一部分，或者他们的某个已知函数 $g(\theta_1,\theta_2,...,\theta_n)$ ，例如要估计 $\theta_1$ 选出合适的统计量： $\tilde{\theta_1}(x_1,x_2,...,x_n)$ ，每确定一组观察值 $x_1$ , $x_2$ , $...$ , $x_n$ ，代入： $\tilde{\theta_1}(x_1,x_2,...,x_n)$ 之后就得到一个 $\theta_1$ 的估计值。为此目的而构造的统计量： $\tilde{\theta_1}(x_1,x_2,...,x_n)$ 就叫做 $\theta_1$ 的估计量。

由于未知参数 $\theta_1$ 是数轴上的一点，用 $\tilde{\theta_1}$ 去估计 $\theta_1$ ，就相当于由一点去估计另一点，这样的估计叫做点估计。其核心是估计量的选择。

1 | 矩估计法

1.1 方法

即用矩去估计参数，因为假设参数已知时，可以得到相应的矩，这个由参数得到的矩是理论矩，同时假设样本符合相应分布，则由样本可以获得相应的矩，由样本获得的矩是估计矩。二者划等号，就可以用估计矩（已知样本）去估计参数（未知参数）
已知总体x服从 $f(x;\theta_1,\theta_2,...,\theta_n)$ ，及样本 $x_1$ , $x_2$ , $...$ , $x_n$ ，建立矩方程：
$a_i=Ex^i$
其中， $a_i$ 为样本的原点矩 $a_i=\frac{1}{n}({x_1}^i+...+{x_n}^i)$ ，解方程组得到参数 $\theta_1,\theta_2,...,\theta_n$ 的矩估计量：
$\tilde{\theta_1} = \tilde{\theta_1}(x_1,x_2,...,x_n)$
$\tilde{\theta_2} = \tilde{\theta_2}(x_1,x_2,...,x_n)$
$……$
$\tilde{\theta_n} = \tilde{\theta_n}(x_1,x_2,...,x_n)$

若要估计 $g(\theta_1,\theta_2,...,\theta_n)$ ，则用 $g(\tilde{\theta_1},\tilde{\theta_2},...,\tilde{\theta_3})$ 进行估计

1.2 矩估计实例：

设正态分布 $N(\mu, \sigma^2)$ ，其中 $\mu$ 和 $\sigma^2$ 均未知，现估计两个参数。则可以建立矩方程：
$\mu=\bar x$ $\sigma^2=m_2$
若要估计标准差 $\sigma$ 由 $\sigma=\sqrt{\sigma^2}=g(\sigma^2)$ 进行估计
设总体分布为参数 $\lambda$ 的指数分布， $x_1$ , $x_2$ , $...$ , $x_n$ 为样本，要估计 $1/\lambda$ 。
因为 $1/\lambda$ 为一介原点矩（因为指数分布的一介原点矩，即期望为 $1/\lambda$ ），由矩方程： $\bar x=1/\lambda$ 可得 $1/\lambda$ 的矩估计为 $\bar x$ ；另因为总体分布的方差为 $1/\lambda_2$ ，由矩方程 $m_2=1/\lambda_2$ ，也可得到 $1/\lambda$ 的矩估计为 $\sqrt{m_2}$ 。矩估计方法下得出不同的矩估计量 $\bar x$ 和 $\sqrt{m_2}$ ，这里说明同一参数在矩估计法下可能得出不同的统计量
设总体分布为区间 $[\theta_1,\theta_2]$ 上的均匀分布，即x服从 $U[\theta_1,\theta_2]$ ， $x_1$ , $x_2$ , $...$ , $x_n$ 为独立随机样本。因为均匀分布的期望为 $\alpha=(\theta_1+\theta_2)/2$ ，均匀分布的方差为 $\mu_2={(\theta_1+\theta_2)}^2/12$ 。由这两个矩估计方程，联立方程可求解参数 $\theta_1,\theta_2$ 的矩估计量。

2 | 极大似然估计

2.1 方法

设总体分布x服从 $f=(x;\theta_1,\theta_2,...,\theta_k)$ ； $x_1$ , $x_2$ , $...$ , $x_n$ 为来自总体的样本，则样本的分布为：
$f(x_1;\theta_1,\theta_2,...,\theta_k)\cdot f(x_2;\theta_1,\theta_2,...,\theta_k)\cdot...\cdot f(x_n;\theta_1,\theta_2,...,\theta_k)$
用 $L(x_1,x_2,...,x_n;\theta_1,\theta_2,...,\theta_k)$ 表示，L反映了在此参数 $\theta_1,\theta_2,...,\theta_k$ 下的总体中抽出当前样本 $x_1,x_2,...,x_n$ 的概率（由于每个样本的抽取是独立随机的，所以抽到特定总样本的概率就等于每个样本个体抽取的概率的乘积），在总体分布簇中寻找出那么一组参数，使得在该组参数下总体中出现当前样本的概率最大。
在样本 $x_1$ , $x_2$ , $...$ , $x_n$ 下，称 $L(x_1,x_2,...,x_n;\theta_1,\theta_2,...,\theta_k)$

标签

参数估计