机器学习基础-数理统计
数理统计与参数估计 统计量 期望/方差/偏度/峰度 协方差和相关系数 独立和不相关 期望 数学期望(均值)是实验中每次可能结果的概率乘以其结果的总和。它反映随机变量平均取值的大小。 离散型 如果随机变量只取得有限个值或无穷能按一定顺序一一列出,其值域为一个或若干个有限或无限区间 连续的 设连续性随机变量X的概率密度函数为f(x),若积分绝对收敛,则称积分的值 为随机变量的数学期望,记为E(X) 期望的性质 无条件成立 E(kX) = kE(X) E(X + Y) = E(X) + E(Y) 若X和Y相互独立 E(XY) = E(X)E(Y) 反之不成立,若E(XY)=E(X)E(Y),只能说明X和Y不相关 方差 用来度量随机变量和数学期望之间的偏离程度(统计中的方差(样本方差)是每个样本值与全体样本值的平均数之差的平方值的平均数) 标准差、方差越大,离散程度越大 方差的性质 D(CX) = C^2*D(X), D(X+C)=D(X) D(X+Y) = D(X) + D(Y) + 2Cov(X,Y) 当X, Y 是不相关的随机变量则:D(X+Y)=D(X)+D(Y) 协方差:Cov(X,Y) = E{[X - E(X)][Y - E(Y)]} 方差就是协方差的一种特殊情况,即两个变量相同 离散型方差计算: 展开后 连续性方差计算: 展开后 随机变量的期望和方差 离散型: 连续型: