中心极限定理

在自然界与生产中，一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看作是服从正态分布的. 取n个随机变量,假设最终符合上述结论——满足正态分布的思想，那么用正态分布的思想来将其化为标准正态分布： 取n个随机变量,求这n个随机变量的样本之和（假设每个随机变量取一个样本）， 预备知识：正常情况下（（（正态分布的随机变量）再减去（其期望值））/其标准差）得到的变量就是标准正态分布； 现在我们已经假设我们取到的（n个随机变量）满足正态分布，并且每一个随机变量的方差和期望值都相同（n个随机变量独立同分布，并没有要求一定是正态分布）； 则（（n个随机变量样本值的和）再减去（n倍的随机变量期望值））/（n个随机变量的标准差））就是最后得到的符合标准正态分布的随机变量； 上面只是从已经知道结论的情况下反推公式，因为最后满足正态分布的结论实在比过程好记多了，关于n个随机变量的标准差是（根号n倍的随机变量的标准差）解释如下：（n个随机变量的方差相加）再整体开根号，由于括号里提出一个n之后，再开根号必然有个根号n； 重在理解，盖如是也。 来源： https://www.cnblogs.com/hongdoudou/p/12592243.html

作者： Mike Freeman 编译： Bot 编者按：中心极限定理是概率论中的一组重要定理，它的中心思想是无论是什么分布的数据，当我们从中抽取相互独立的随机样本，且采集的样本足够多时，样本均值的分布将收敛于正态分布。为了帮助更多学生理解这个概念，今天，UW iSchool的教师Mike Freeman制作了一些直观的可视化图像，让不少统计学教授大呼要把它们用在课堂上。 本文旨在尽可能直观地解释统计学基础理论之一——中心极限定理的核心概念。通过下文中的一系列动图，读者应该能真正理解这个定理，并从中汲取应用灵感，把它用于决策树等其他项目。 需要注意的是，这里我们不会介绍具体推理过程，所以它不涉及定理解释。 教科书上的中心极限定理 在看可视化前，我们先来回顾一下统计学课程对中心极限定理的描述。 来源：LthID n>30一般为大样本的分界线 来源：LthID 一个简单的例子 为了降低这个定理的理解门槛，首先我们来举个简单的例子。假设有一个包含100人的团体，他们在某些问题上的意见分布在0-100之间。如果以可视化的方式把他们的意见分数表示在水平轴上，我们可以得到下面这幅图：深色竖线表示所有人意见分数的平均值。 假如你是一名社会科学家，你想知道这个团体的立场特点，并用一些信息，比如上面的“平均意见得分”来描述他们。但可惜的是，由于时间、资金有限，你没法一一询问。这时候

注 ：这两个定理可以说是概率论中最重要的两个定理。也是由于中心极限定理的存在，使得正态分布从其他众多分布中脱颖而出，成为应用最为广泛的分布。这两个定理在概率论的历史上非常重要，因此对于它们的研究也横跨了几个世纪（始于18世纪初），众多耳熟能详的大数学家都对这两个定理有自己的贡献。因此，这两个定理都不是单一的定理。不同的大数定理和中心极限定理从不同的方面对相同的问题进行了阐述，它们条件各不相同，得到的结论的强弱程度也不一样。 1. 大数定理（law of large numbers，LLN） 图1-1，伯努利（1655-1705） 大数定律可以说是整个数理统计学的一块基石，最早的大数定律由伯努利在他的著作《推测术》中提出并给出了证明。这本书出版于伯努利去世后的1713年。数理统计学中包含两类重要的问题——对概率p的检验与估计。大数定律的本质是一类极限定理，它是由概率的统计定义“频率收敛于概率”引申而来的。简单来说就是n个独立同分布的随机变量的观察值的均值$\bar{X}$依概率收敛于这些随机变量所属分布的理论均值，也就是总体均值。 举一个古典概率模型的例子：拿一个盒子，里面装有大小、质地一样的球a+b个，其中白球a个，黑球b个。这时随机地从盒子中抽出一球(意指各球有同等可能被抽出)，则“抽出的球为白球”这一事件A的概率p=a/(a+b).但是如果不知道a、b的比值，则p也不知道

中心极限定理：从总体中抽取容量为n的简单随机样本，当样本容量很大时，样本均值的抽样分布近似服从正态分布。 （注：总体数据需独立同分布） 那么样本容量应该达到多大时，才能应用中心极限定理呢？答：对于大多数应用，当样本容量大于或等于30时就可以。 从下图中可以看出，不管总体是什么样的分布情况，当样本量达到30的时候，样本均值的分布就是钟形分布了： 中心极限定理的作用： （1）在没有办法得到总体全部数据的情况下，可以用样本来估计总体。 （2）根据总体的平均值和标准差，判断某个样本是否属于总体。 附： 20世纪初概率学家大都称呼该定理为极限定理(Limit Theorem)，由于该定理在概率论中处于如此重要的中心位置，如此之多的概率学武林高手为它魂牵梦绕，于是数学家波利亚(G.Polya)于1920年在该定理前面冠以"中心"一词，由此后续人们都称之为中心极限定理。 来源： https://www.cnblogs.com/HuZihu/p/10052254.html

转载请注明出处： http://blog.csdn.net/gamer_gyt 博主微博： http://weibo.com/234654758 Github： https://github.com/thinkgamer 公众号：搜索与推荐Wiki 个人网站： http://thinkgamer.github.io 在机器学习中,有一些非常有名的理论或定理,对理解机器学习的内在特性非常有帮助。 PAC学习理论 当使用机器学习算法来解决某个问题时，通常靠经验或者多次实验来得到合适的模型，训练样本数量和相关的参数。但是经验判断成本较高，且不太可靠，因此希望有一套理论能够分析问题，计算模型能力，为算法提供理论保证。这就是计算学习理论（Computational Learning Theory），其中最基础的就是近似正确学习理论（Probably Approximately Coorrect， PAC）。 机器学习中一个很重要的问题就是期望错误与经验错误之间的误差，称为泛化误差（Generalization Error），用来衡量一个机器学习模型能否很好的泛化到未知数据。 根据大数定理，当训练的数据集D接近于无穷大时，泛化错误趋向于0，即经验风险趋向于期望风险。由于我们并不知道真实的数据分布，因此从有限的数据样本学习到一个期望错误为0的模型是很难的，因此需要降低对模型的期望

第二部分 概率论、基本分布 怎么判断左偏和有偏？ 看尾巴的方向： 中心极限定理的两个要点？ 最后的正态分布的均值和方差。 当样本极度大的时候可以忽略该样本是否来自正态分布。 三种常用抽样分布的共同特点？ 分布走势仅与自由度有关 卡方分布的分母是自由度吗？ 不是，卡方分布没有分母： 自由度是 Z 分布的个数。 当总体分布为二项分布时如何选择抽样分布？ 注意要考虑不同样本容量 大样本时，注意要考虑乘积的大小 小样本时，就按照二项分布本身 正态分布总体方差未知时，如何推断总体参数？ 用 T 分布推断均值 用 F 分布推断方差 来源： https://www.cnblogs.com/yuanjingnan/p/11884543.html

来源： https://www.cnblogs.com/zjuhaohaoxuexi/p/11804261.html

#什么是中心极限定理（Central Limit Theorem） 中心极限定理指的是给定一个任意分布的总体。我每次从这些总体中随机抽取 n 个抽样，一共抽 m 次。 然后把这 m 组抽样分别求出平均值。 这些平均值的分布 接近正态分布 。 注意 ：不一定是平均值，可以是任何统计量 也就是说：大量相互独立的随机变量，其均值（或者和）的分布以正态分布为极限 意思就是当满足某些条件的时候，比如Sample Size比较大，采样次数区域无穷大的时候，就越接近正态分布。 而这个定理神奇的地方在于，无论是什么分布的随机变量，都满足这个定理。 例子 ： 此网站可以自己进去设置下数据，模拟一下 大数定律 是说，n只要越来越大，我把这n个独立同分布的数加起来去除以n得到的这个样本均值（也是一个随机变量）会依概率收敛到真值u， 但是样本均值的分布是怎样的我们不知道 。 中心极限定理 是说，n只要越来越大，这n个数的样本均值会趋近于正态分布，并且这个正态分布以 u u u 为均值， σ 2 n \frac{\sigma ^{2}}{n} n σ 2 ​ 为方差。 综上所述 ，这两个定律都是在说样本均值性质。随着n增大，大数定律说样本均值几乎必然等于均值。中心极限定律说，他越来越趋近于正态分布。并且这个正态分布的方差越来越小。 直观上来讲，想到大数定律的时候，你脑海里浮现的应该是一个样本

来源： https://www.cnblogs.com/limingqi/p/11774389.html