Appendix 1- LLN and Central Limit Theorem

假如想象 提交于 2019-12-06 12:30:48

1. 大数定律(LLN)

设Y1,Y2,……Yn是独立同分布(iid,independently identically distribution)的随机变量,A = SY /n = (Y1+...+Yn)/n。若将Y1,Y2……Yn看做是随机变量Y的n次采样,那么A是Y的采样平均。

因为 ,故 . It is important to understand that the variance of the sum increases with n and the variance of the normalized sum (the sample average, A) decreases with n.

 

弱大数定律与强大数定律:

两种不同的收敛形式,即几乎必然收敛(converge almost surely, 简称a.s.收敛)和依概率收敛(converge in probability, 简称i.p.收敛). 在概率空间中,a.s.收敛强于i.p.

  1. 两者前提条件一样:要求iid分布并期望存在。
  2. 弱大数定律表示样本均值“依概率收敛”于总体均值,即大概率会收敛,但无法保证是否存在某个n使之不收敛。
  3. 强大数定律表示样本均值“几乎处处收敛”,比弱大数定律强。

T是信源发出的长为n序列,相当于独立事件发生n次。

2. 中心极限定理

中心极限定理central limit theorem是说:

  • 样本的平均值约等于总体的平均值。
  • 不管总体是什么分布,任意一个总体的样本平均值都会围绕在总体的整体平均值周围,并且呈正态分布。前提条件:要求iid分布,期望方差都有限并存在。

 

 

 

 

 

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!