协变量

数学期望 数学期望E（x）完全由随机变量X的概率分布所确定，若X服从某一分布，也称E（x）是这一分布的数学期望。 数学期望的定义是实验中每次可能的结果的概率乘以其结果的总和。 离散型随机量的数学期望 定义：离散型随机变量的所有可能取值 xixi 与其对应的概率 P(xi) 乘积的和为该离散型随机量的数学期望，记为 E(X)。 公式： E(X)=∑i=1nxiPi 连续型随机量的数学期望 定义：假设连续型随机变量 XX的概率密度函数为 f(x)，如果积分∫+∞−∞xf(x)dx绝对收敛，则称这个积分的值为连续型随机量的数学期望，记为 E(X)。 公式： E(X)=∫+∞−∞xf(x)dx 数学期望的性质 设C为常数： E(C)==C 设C为常数： E(CX)==CE(X) 加法：E(X+Y)==E(X)+E(Y) 当X和Y相互独立时，E(XY)=)=E(X)E(Y) （主意，X和Y的相互独立性可以通过下面的“协方差”描述） 数学期望的意义 根据“大数定律”的描述，这个数字的意义是指随着重复次数接近无穷大时，数值的算术平均值几乎肯定收敛于数学期望值，也就是说数学期望值可以用于预测一个随机事件的平均预期情况。 方差 数学期望给出了随机变量的平均大小,现实生活中我们还经常关心随机变量的取值在均值周围的散布程度,而方差就是这样的一个数字特征。 方差有两个定义，一个是统计学的定义

在机器学习领域中，有一个重要的假设：独立同分布假设，也就是假设训练数据和测试数据是满足相同分布的，否则在训练集上学习到的模型在测试集上的表现会比较差。而在深层神经网络的训练中，当中间神经层的前一层参数发生改变时，该层的输入分布也会发生改变，也就是存在内部协变量偏移问题（Internal Covariate Shift），从而造成神经层的梯度消失，模型收敛过慢的问题。 Batch Normalization（BN，批量标准化）就是一种解决内部协变量偏移问题的方法，它通过对神经网络的中间层进行逐层归一化，让每一个中间层输入的分布保持稳定，即保持同一分布。 下面从以下四个方面来深入理解Batch Normalization的原理。 1、内部协变量偏移问题 2、训练时的Batch Normalization 3、推断时的Batch Normalization 4、Batch Normalization的优点 一、内部协变量偏移问题 1、内部协变量偏移问题的产生 在传统机器学习中，一个常见的问题是协变量偏移（Covariate Shift），大致的意思就是数据会随着时间而变化，用旧数据训练好的模型去预测新数据时，结果可能会不准确。输入数据可以看做是协变量，机器学习算法要求输入数据在训练集和测试集上满足同分布，这样把模型用来预测新的数据，才能有较好的结果。 而深层神经网络中的内部协变量偏移

VAR模型针对平稳时间序列，VEC模型针对存在协整关系的非平稳时间序列 协整方程表示变量之间的长期均衡关系，它反映的是系统内部不同变量之间的均衡 来源：博客园 作者： 罗采薇 链接：https://www.cnblogs.com/caiweijun/p/11656398.html

VAR模型针对平稳时间序列，VEC模型针对存在协整关系的非平稳时间序列 协整方程表示变量之间的长期均衡关系，它反映的是系统内部不同变量之间的均衡 来源： https://www.cnblogs.com/caiweijun/p/11656398.html