方差公式

方差分为：样本方差和总体方差； 　　总体方差计算公式： 　　 　　 为总体方差， 为变量， 为总体均值， 为总体例数。 　　实际工作中， 总体均数难以得到时 ，应用样本统计量代替总体参数，经校正后，样本方差计算公式： 　　S^2= ∑（X- ） ^2 / （n-1） 　　S^2为样本方差，X为变量， 为样本均值，n为样本例数。 标准差的平方就是方差； arr =【2，1，5】 excel上拉数据透视表： 总体方差：2.888889 　　　　　　　#=POWER（STDEVP(arr)，2） 总体标准（偏）差：1.699673　　　　#=STDEVP(arr) 方差：4.333333 #=VAR（arr） #样本方差 标准（偏）差：2.081666 #=SQRT(VAR(arr)) #样本标准差 python-numpy: import numpy as nparr = [2, 1, 5]arr_mean = np.mean(arr)arr_var = np.var(arr，ddof=1) #样本方差 arr_std = np.std(arr,ddof=1) #样本标准差 ddof就是：n-ddof,ddof默认为0print("平均值为：%f" % arr_mean)print("方差为：%f" % arr_var)print("标准差为:%f" % arr_std) 平均值为：2

链接：https://www.cnblogs.com/raorao1994/p/9050697.html 方差、标准差、协方差、相关系数 【方差】 　　（variance)是在概率论和统计方差衡量 随机变量 或一组数据时离散程度的度量。概率论中方差用来度量 随机变量 和其 数学期望 （即 均值 ）之间的偏离程度。统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的 平均数 。在许多实际问题中，研究方差即偏离程度有着重要意义。方差是衡量源数据和期望值相差的度量值。（百度百科） 　　 　　在统计描述中，方差用来计算每一个变量（观察值）与总体均数之间的差异。为避免出现离均差总和为零，离均差平方和受样本含量的影响，统计学采用平均离均差平方和来描述变量的变异程度。总体方差计算公式： 　　 　　实际工作中，总体均数难以得到时，应用样本统计量代替总体参数，经校正后，样本方差计算公式： 　　S^2= ∑(X- ) ^2 / (n-1) S^2为样本方差，X为变量， 为样本均值，n为样本例数。（无偏估计） 【标准差】 　　标准差（Standard Deviation） ，中文环境中又常称 均方差 ，是离均差平方的算术平均数的平方根，用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。平均数相同的两组数据，标准差未必相同。标准差也被称为 标准偏差 ，或者实验标准差

方差 在概率论和统计学中，一个随机变量的方差（Variance）描述的是它的离散程度，也就是该变量离其期望值的距离。一个实随机变量的方差也称为它的二阶矩或二阶中心动差，恰巧也是它的二阶累积量。方差的算术平方根称为该随机变量的标准差。 其定义为：如果E(X)是随机变量X的期望值（平均数） 设为服从分布F的随机变量，则称 为随机变量或者分布的方差： 其中，μ为平均数，N为样本总数。 分别针对离散型随机变量和连续型随机变量而言，方差的分布律和概率密度如下图所示： 标准差 标准差（Standard Deviation），在概率统计中最常使用作为统计分布程度（statistical dispersion）上的测量。标准差定义为方差的算术平方根，反映组内个体间的离散程度。 简单来说，标准差是一组数值自平均值分散开来的程度的一种测量观念。一个较大的标准差，代表大部分的数值和其平均值之间差异较大；一个较小的标准差，代表这些数值较接近平均值。例如，两组数的集合 {0, 5, 9, 14} 和 {5, 6, 8, 9} 其平均值都是 7 ，但第二个集合具有较小的标准差。 前面说过，方差的算术平方根称为该随机变量的标准差，故一随机变量的标准差定义为： 须注意并非所有随机变量都具有标准差，因为有些随机变量不存在期望值。 如果随机变量X为 具有相同概率，则可用上述公式计算标准差。上述方差.标准差等相关内容

方差 方差用来度量随机变量和其数学期望之间的偏离程度，variance =E[(X-EX)(X-EX)] 标准差和均值的量纲（单位）是一致的，在描述一个波动范围时标准差比方差更方便。 存在一个值为N的分母，其作用为将计算得到的累积偏差进行平均，从而消除数据集大小对计算数据离散程度所产生的影响。不过，使用N所计算得到的方差及标准差只能用来表示该数据集本身(population)的离散程度；如果数据集是某个更大的研究对象的样本(sample)，那么在计算该研究对象的离散程度时，就需要对上述方差公式和标准差公式进行贝塞尔修正，将N替换为N-1： 简单的说，是除以 N 还是 除以 N-1，则要看样本是否全，比如，我要统计全国20岁男性的平均身高，你肯定拿不到全部20岁男性的身高，所以只能随机抽样 500名，这时要除以 N-1，因为只是部分数据（称为整体数据的 无偏估计 ）；但是我们算沪深300在2017年3月份的涨跌幅，我们是可以全部拿到3月份的数据的，所以我们拿到的是全部数据，这时就要除以 N。 协方差 协方差Covariance用于描述2个随机变量偏离其均值的程度，cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-E(X)*E(Y) 协方差作为描述X和Y相关程度的方法，在同一物理量纲下有一定的作用。但是两个变量采用不同的量纲时，他们的协方差在数值上会表现出很大的差异

1 概述交叉验证的使用：模型评价、超参数（阈值）优选，保证数据集同分布留一法交叉验证——MAE平均绝对误差 评价MAE（2 P68）实值函数回归 2 KNN模型 KNN Step1 预处理 x估计=x-μ/σ 并且记录{μ(k),σ(k),k=1,2,3,4} 平均错误率、标准差 Step2 选K值 KNN中的K m-fold（v） 2 p21 错误率最小的，作为最终的K，对样本集进行预测，K不能为偶数 m次，取n-1份作为训练集，1作为验证集合，得到(Acc(k),K)Step3 决策 K近邻回归，2类别分类K为奇数，防止相等无法判断 p44 混淆矩阵 自然状态*预测输出（TP、FN、FP、TN） p46 评价指标要记总体正确率、总体错误率、查准率Precision、查全率Recall/灵敏度Sensiticity、特异度（真阴性率）、漏报率（假阴性率）、虚警率（假阳性率）、Fβ-Score（查准率和查全率的调和平均）F=2Precision·Recal /（Precision+Recall）马修相关系数、Kappa系数西瓜书p32 宏平均、微平均宏平均：先带入xx率公式计算，再求平均值微平均：先求平均值，再带入xx率公式计算3 基于树的模型决策树主要是cartcart tree 不纯性度量： -分类目标：Gini指标 -连续目标：最小平方残差、最小绝对残差分类

这几天面试经常被问到BN层的原理，虽然回答上来了，但还是感觉答得不是很好，今天仔细研究了一下Batch Normalization的原理，以下为参考网上几篇文章总结得出。 　　Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个 经验领先于理论分析 的偏经验的一门学问。本文是对论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》的导读。 　　机器学习领域有个很重要的假设： IID独立同分布假设 ，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。那BatchNorm的作用是什么呢？ BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。 　　接下来一步一步的理解什么是BN。 　　为什么深度神经网络 随着网络深度加深，训练起来越困难，收敛越来越慢？ 这是个在DL领域很接近本质的好问题。很多论文都是解决这个问题的，比如ReLU激活函数，再比如Residual Network

数学期望 以实验中观查实验结果值的算术平均为例，解释数学期望的物理含义： 设共作了N次独立实验，实验结果值为x，x可能有m种值，即 ，在N次实验中各x值得到的次数分别为 ，则有 次，故可求出x的算术平均值为： 根据 大数定理 ，当 时， 趋于稳定，即趋向某一概率值，故上述可写成： 因为 不可能达到 的，因此P(x)的确切值是得不到的，E(x)只是一种 期望值 (ExpectedValue)，故称为 数学期望 。实际上它可看成x的 均值 。( 值出现的概率) [1] 。 均方值和方差 在概率统计中，对于离散型随机变量其均方值和方差如下（ 表示 的均值）： 均方值 方 差 ： 偏 差 ： 所以方差也称为偏差的 均方值 。 对于随时间连续变化的一个变量x(也可看时 )，其数学期望可写成： 它实际上就是 的平均值 。 均方值： 方差为： 其中 称为 偏差 ， 为t时刻x变量的取值， 为 的平均值 [1] 。 随机信号的特性 编辑 随机过程的各个样本记录都不一样，因此不能象确定性信号那样用明确的数学关系式来表达。但是，这些样本记录却有共同的统计特性，因此，随机信号可以用概率统计特性来描述。常用的有以下几个主要的统计函数： (1) 均方值、均值和方差； (2) 概率密度函数； (3) 自相关函数； (4) 功率谱密度函数； (5) 联合统计特性。 均方值、均值和方差 随机信号的强度

本文转载自：https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit 译者注：本文智能单元首发，译自斯坦福CS231n课程笔记Neural Nets notes 2，课程教师Andrej Karpathy授权翻译。本篇教程由杜客翻译完成，堃堃进行校对修改。译文含公式和代码，建议PC端阅读。 原文如下 内容列表： 设置数据和模型 数据预处理 权重初始化 批量归一化（Batch Normalization） 正则化（L2/L1/Maxnorm/Dropout） 损失函数 小结 设置数据和模型 在上一节中介绍了神经元的模型，它在计算内积后进行非线性激活函数计算，神经网络将这些神经元组织成各个层。这些做法共同定义了评分函数（score function）的新形式，该形式是从前面线性分类章节中的简单线性映射发展而来的。具体来说，神经网络就是进行了一系列的线性映射与非线性激活函数交织的运算。本节将讨论更多的算法设计选项，比如数据预处理，权重初始化和损失函数。 数据预处理 关于数据预处理我们有3个常用的符号，数据矩阵X，假设其尺寸是[N x D]（N是数据样本的数量，D是数据的维度）。 均值减法（Mean subtraction）是预处理最常用的形式。它对数据中每个独立特征减去平均值

数据归一化（Feature Scaling） 一、为什么要进行数据归一化 原则：样本的所有特征，在特征空间中，对样本的距离产生的影响是同级的； 问题：特征数字化后，由于取值大小不同，造成特征空间中样本点的距离会被个别特征值所主导，而受其它特征的影响比较小； 例：特征1 = [1, 3, 2, 6, 5, 7, 9]，特征2 = [1000, 3000, 5000, 2000, 4000, 8000, 3000]，计算两个样本在特征空间的距离时，主要被特征2所决定； 定义：将所有的数据（具体操作时，对每一组特征数据进行分别处理）映射到同一个尺度中； 归一化的过程，是算法的一部分； 二、数据归一化的方法 　1）最值归一化（normalization） 　　1、思路：把所有数据映射到0~1之间； 　　2、公式： 　　　 　　　# x为数据集中每一种特征的值； 　　　# 将数据集中的每一种特征都做映射； 　　3、特点：多适用于 分布有明显边界 的情况；如考试成绩、人的身高、颜色的分布等，都有范围；而不是些没有范围约定，或者范围非常大的数据； 　　　# 明显边界：同一特征的数据大小相差不大；不会出现大部分数据在0~200之间，有个别数据在100000左右； 　　4、缺点：受outlier影响较大； 　2）Z-score（standardization） 　　1、思路：把所有数据归一到均值为