1. 大数定律(LLN)
设Y1,Y2,……Yn是独立同分布(iid,independently identically distribution)的随机变量,A = SY /n = (Y1+...+Yn)/n。若将Y1,Y2……Yn看做是随机变量Y的n次采样,那么A是Y的采样平均。
因为 ,故 . It is important to understand that the variance of the sum increases with n and the variance of the normalized sum (the sample average, A) decreases with n.
弱大数定律与强大数定律:
两种不同的收敛形式,即几乎必然收敛(converge almost surely, 简称a.s.收敛)和依概率收敛(converge in probability, 简称i.p.收敛). 在概率空间中,a.s.收敛强于i.p.
- 两者前提条件一样:要求iid分布并期望存在。
- 弱大数定律表示样本均值“依概率收敛”于总体均值,即大概率会收敛,但无法保证是否存在某个n使之不收敛。
- 强大数定律表示样本均值“几乎处处收敛”,比弱大数定律强。
T是信源发出的长为n序列,相当于独立事件发生n次。
2. 中心极限定理
中心极限定理central limit theorem是说:
- 样本的平均值约等于总体的平均值。
- 不管总体是什么分布,任意一个总体的样本平均值都会围绕在总体的整体平均值周围,并且呈正态分布。前提条件:要求iid分布,期望方差都有限并存在。