大数定律

依概率收敛， 算期望 来源： https://www.cnblogs.com/YC-L/p/12291288.html

定义：设 \(X_{n}\) 是一个随机变量序列， \(X\) 为一个随机变量，如果对于任意的 \(\varepsilon > 0\) ,有 \(lim_{n \rightarrow \infty}P\{|X_n -X| \geq \varepsilon \}=0\) 称随机变量序列 \({X_n}\) 依概率收敛于随机变量X 以上的例子说明一般按分布收敛与依概率收敛是不等价的．而下面的定理则说明：当极限随机变量为常数时，按分布收敛与依概率收敛是等价的． \(X_{n} \stackrel{P}{\longrightarrow} X \Rightarrow X_{n} \stackrel{L}{\longrightarrow} X\) \(X_{n} \stackrel{P}{\longrightarrow} a \Leftrightarrow X_{n} \stackrel{L}{\longrightarrow} a\) 来源： https://www.cnblogs.com/zonghanli/p/12233248.html

深度学习的数学基础 微积分 无穷小 在17世纪下半叶，数学史上出现了无穷小的概念，而后发展处极限的概念 极限 数列的极限 函数的极限 导数 微分 积分 不定积分 也称为原函数或反导数 定积分 定积分中值定理 牛顿-莱布尼茨公式 偏导数 概率统计 样本空间 定义：随机试验 E 的所有结果构成的集合称为 E 的 样本空间，记为 S={e} 称 S 中的元素 e 为样本点，一个元素的单点集称为基本事件． 概率 条件概率/后验概率 P（A|B） 边缘概率/先验概率 A的边缘概率表示为P（A）,B的边缘概率表示为P（B） 联合概率 全概率公式 贝叶斯公式 随机变量 离散型随机变量 对离散随机变量用求和得全概率 定义 (0-1)分布/两点分布/伯努利分布 二项分布 泊松分布(Poisson分布) 连续型随机变量 对连续随机变量用积分得全概率 概率分布函数F(x) 概率密度函数f(x) 均匀分布 X~U（a，b） 指数分布 正态分布/高斯分布 是研究误差分布的一个理论 期望 离散型随机变量的期望 连续型随机变量的期望 方差(Variance) 一个随机变量的方差（ Variance ）描述的是它的离散程度，也就是该变量离其期望值的距离 标准差(Standard Deviation) 方差的算术平方根称为该随机变量的标准差。 样本标准差 协方差 相关系数(Correlation

1. 大数定律（LLN） 设Y 1 ，Y 2 ，……Y n 是独立同分布(iid，independently identically distribution)的随机变量，A = S Y /n = (Y 1 +...+Y n )/n。若将Y1，Y2……Yn看做是随机变量Y的n次采样，那么A是Y的采样平均。 因为 ，故 . It is important to understand that the variance of the sum increases with n and the variance of the normalized sum (the sample average, A) decreases with n. 弱大数定律与强大数定律： 两种不同的收敛形式,即几乎必然收敛(converge almost surely, 简称a.s.收敛)和依概率收敛(converge in probability, 简称i.p.收敛). 在概率空间中,a.s.收敛强于i.p. 两者 前提条件 一样：要求iid分布并期望存在。 弱大数定律表示样本均值“依概率收敛”于总体均值，即大概率会收敛，但无法保证是否存在某个n使之不收敛。 强大数定律表示样本均值“几乎处处收敛”，比弱大数定律强。 T是信源发出的长为n序列，相当于独立事件发生n次。 2. 中心极限定理 中心极限定理central

假设，Z_i表示来自某概率分布的N次独立采样。那么，根据大数定律，只要期望E[Z]有限，则下式成立： (Z_1+Z_2+Z_3+...+Z_N)/N-->E[Z],N->无穷 用文字表述，即来自同一分布的一组随机变量，其均值收敛于该分布的期望。 来源： https://www.cnblogs.com/zjuhaohaoxuexi/p/11804254.html

详解概率与期望的概念 本篇随笔简单讲解一下数学中的概率和期望的相关内容，并致力于对概率期望在信息学奥林匹克竞赛中的应用。建议阅读本篇博客并希望从中弄懂概率和期望相关内容的读者现行具备一定的（不低于初中）的统计学相关知识。了解一定的数学知识（尽量不低于初三--高一）。 概念集锦 1、随机现象 在一定的条件下，并不总是出现相同的结果的现象称为随机现象。 就是在同一条件下出现很多种不同的结果。 比如在一个固定的时间段，乘坐公交车的人数可能会不同。这就是一个随机现象。 2、随机变量 表示随机现象的各种结果的变量叫做随机变量。 比如在一个固定的时间段，乘坐公交车的乘客人数。（哈哈哈还是上面的例子） 比较数学的一个说法：设一个随机现象的所有可能结果做一个基本空间 \(\Omega\) ，随机变量 \(X\) 是定义在 \(\Omega\) 上的取值为实数的函数。这是个映射的关系，也就是对于这个基本空间 \(\Omega\) 的所有可能结果，都有一个值在实轴上与之对应。 怎么去理解这个东西呢？还是上面这个例子，如果定义 \(X\) 为八点到九点中乘坐公交车的乘客人数。那么 \(X\) 就是个随机变量。它会有很多种可能的结果。对于每个结果， \(X\) 有分别不同的取值。这就是一个映射的对应关系。 3、随机事件 在概率论中，将实验的结果称之为事件。在每次实验中，可能发生也可能不发生的事件

开映射定理和闭图像定理及其应用 - dhchen 的文章 - 知乎 https://zhuanlan.zhihu.com/p/28093420 泛函分析随记（一）Hahn-Banach定理 - 陆艺的文章 - 知乎 https://zhuanlan.zhihu.com/p/53079862 hahn banach延拓定理里的一小步？ - 知乎 https://www.zhihu.com/question/263942231 小完结:Hahn-Banach定理及其应用 - dhchen的文章 - 知乎 https://zhuanlan.zhihu.com/p/28496285 泛函分析在经济领域有什么应用吗？ - 知乎 https://www.zhihu.com/question/31913447 泛函分析在经济学中的作用有以下几点： 1.价格体系本身是商品空间上的一个线性泛函，利用Hahn-Banach定理我们可以非常容易地证明福利经济学第二定理。 2.要想 严格 地掌握最优控制，需要泛函分析的基础。只是单纯应用的话倒不必要，但是我还是强烈建议经济学的博士生应该掌握Banach空间的微分学，这不光是变分法的问题，而且涉及到经济学很多常用的非线性动力学问题。 对于随机最优控制问题，我们一般有随机Pontryagin最大值原理和Hamilton-Jacobi