样本估计量的有偏估计和无偏估计

0.背景

有一组独立同分布的样本$\{x_{1},x_{2},...,x_{m}\}$服从高斯分布$p(x_{i})=N(x_{i};\mu,\sigma^{2})$。高斯概率密度函数如下：
$p(x_{i})=\frac{1}{\sqrt{2\pi\sigma^{2}}}exp(-\frac{1}{2}\frac{(x_{i}-\mu)^{2}}{\sigma^{2}})$

1.估计的偏差计算公式

$bias(\hat\theta_m)=E(\hat\theta_m)-\theta$
其中$\theta$是定义数据生成分布的$\theta$的真实值，$\hat\theta_m$是m个样本计算得到的$\theta$的估计值，$E(x)$是期望算子。

2.常用样本估计量的无偏估计

2.1 样本均值
样本均值:$\hat\mu_{m}=\frac{1}{m}\sum^{m}_{i=1}{x^{i}}$

判断样本均值是否有偏，计算下列公式：
$bias(\hat\mu_m)=E(\hat\mu_m)-\mu\\=E[\frac{1}{m}\sum^{m}_{i=1}{x^{i}}]-\mu\\=(\frac{1}{m}\sum^{m}_{i=1}{E[x^{i}]})-\mu\\=(\frac{1}{m}\sum^{m}_{i=1}{\mu})-\mu\\=\mu-\mu\\=0$
因此样本均值是高斯均值参数的无偏估计量。

2.2 样本方差
样本方差：$\hat\sigma^2_{m}=\frac{1}{m}\sum^{m}_{i=1}{(x^{i}-\hat\mu_{m})}$

判断样本方差是否有偏，计算下列公式：
$bias(\hat\sigma^2_{m})=E(\hat\sigma^2_{m})-\sigma^2_{m}\\=E[\frac{1}{m}\sum^{m}_{i=1}{(x^{i}-\hat\mu_{m})}]-\sigma^2_{m}\\=\frac{m-1}{m}\sigma^2_{m}-\sigma^2_{m}=\frac{-\sigma^2}{m}$
因此样本方差是高斯方差参数的有偏估计量。

3.为什么样本方差会是有偏估计值呢？

样本方差的无偏估计为$\hat\sigma^2_{m}=\frac{1}{m-1}\sum^{m}_{i=1}{(x^{i}-\hat\mu_{m})}$
最关键的是，样本与实际并不相同。样本均值是在实际均值上下波动的一个值，其方差不为0。故需要修正方差引起的影响。反过来即是，若其方差为0，则是无偏估计。

参考文献
[1]深度学习（花书）5.4.2节
[2]https://blog.csdn.net/cx1165597739/article/details/93330524

来源：CSDN

作者：三鲜炒糕

链接：https://blog.csdn.net/gabriella9655/article/details/104442326