总体方差

统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述： 均值： 标准差： 方差： 均值描述的是样本集合的中间点，它告诉我们的信息是有限的，而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。 以这两个集合为例，[0, 8, 12, 20]和[8, 9, 11, 12]，两个集合的均值都是10，但显然两个集合的差别是很大的，计算两者的标准差，前者是8.3后者是1.8，显然后者较为集中，故其标准差小一些，标准差描述的就是这种“散布度”。之所以除以n-1而不是n，是因为这样能使我们以较小的样本集更好地逼近总体的标准差，即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。 标准差和方差一般是用来描述一维数据的，但现实生活中我们常常会遇到含有多维数据的数据集，最简单的是大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，比如，一个男孩子的猥琐程度跟他受女孩子的欢迎程度是否存在一些联系。协方差就是这样一种用来度量两个随机变量关系的统计量，我们可以仿照方差的定义： 来度量各个维度偏离其均值的程度，协方差可以这样来定义： 协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的（从协方差可以引出“相关系数”的定义）

理解三者之间的区别与联系，要从定义入手，一步步来计算，同时也要互相比较理解，这样才够深刻。 方差 方差是各个数据与平均数之差的平方的平均数。在概率论和数理统计中，方差（英文Variance）用来度量随机变量和其数学期望（即均值）之间的偏离程度。在许多实际问题中，研究随机变量和均值之间的偏离程度有着很重要的意义。 标准差 方差开根号。 协方差 在概率论和统计学中，协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。 可以通俗的理解为：两个变量在变化过程中是否同向变化？还是反方向变化？同向或反向程度如何？ 你变大，同时我也变大，说明两个变量是同向变化的，这是协方差就是正的。 你变大，同时我变小，说明两个变量是反向变化的，这时协方差就是负的。 如果我是自然人，而你是太阳，那么两者没有相关关系，这时协方差是0。 从数值来看，协方差的数值越大，两个变量同向程度也就越大，反之亦然。 可以看出来，协方差代表了两个变量之间的是否同时偏离均值，和偏离的方向是相同还是相反。 公式：如果有X,Y两个变量，每个时刻的“X值与其均值之差”乘以“Y值与其均值之差”得到一个乘积，再对这每时刻的乘积求和并求出均值，即为协方差。 方差，标准差与协方差之间的联系与区别： 1. 方差和标准差都是对一组(一维)数据进行统计的，反映的是一维数组的离散程度；而协方差是对2组数据进行统计的

符合方差分析的三个条件： 残差 = 实际值 - 预测值（其实是均值）。 在原假设下，MSA的期望会等于MSE的期望；在备选假设下，MSA的期望会大于MSE 的期望，所以 MSA/MSE 的取值范围在 (1 ，正无穷 ) ，所以是单侧检验。 这张图说明残差随机独立分布。 每组一个数就无法分析交互作用。 R 提高但 adjusted R 没提高则没有实质性的提高。 (Completely randomized design) 同独立样本 t 检验。 (Randomized block design)要人为干预去掉实验体本身的差异，同配对样本更好。 例题： 当认为总体有差异之后，想要看到底是哪些因素造成这些差异： 在 SPSS 中是这样的 : 双因子方差分析只考虑主效应的意思是不考虑交互效应，但是考虑因素 A 及因素 B 。 相同意思的不同版本： 来源： https://www.cnblogs.com/yuanjingnan/p/11722682.html

应用统计学 方差分析的基本假设： 组间组平均与总平均的不同是由 treatment 引发的。单个值与组平均的不同是由组内 error 引发的。 如果没有处理误差 SSA=SSE ，所以右尾假设如果 F>1 则处理效应更强 本质上样本方差，所以是总体方差的无偏估计。 描述强度： 增加 n （维度）， R 变大， adjusted R 变大。但是 n 过大就会出现过拟合的现象，此时 R 虽然变大，但是并不好，并不能反映客观情况，客观情况是变量间差异是本身就很大，而不是因为维度升高导致的。 双因子方差分析除了增加一个因素之外还有两个因素之间的交互作用。 来源： https://www.cnblogs.com/yuanjingnan/p/11715388.html

为理解下面的知识需要先区分好下面几个概念： 总体均值： \(u\) 总体标准差： \(σ\) 样本均值： \(u'\) 样本标准差： \(σ'\) 样本中符合条件A的占比： \(p'\) 是样本大小： \(n\) 总体大小： \(N\) 抽样 数据分析中，虽然数据越多越齐越好，可是受限于各类因素的制约，我们并不能获取全部的数据。比如Excel的性能限制，比如数据库不支持大文件导出、或者是无法全量进行的用户调研等。 抽样是一种应对方法，通过样本来推断总体，抽样结果提供的仅仅是相应总体特征的估计，「估计」这一点很重要。 抽样有很多方式，样本首要满足随机性。比如进行社会访谈，你不能只选择商场人流区，因为采访到的人群明显是同一类人群，反而会遗漏郊区和乡镇的人群，遗漏宅男，遗漏老人。 互联网产品中，抽样也无处不在，大名鼎鼎的AB测试就是一种抽样，选取一部分人群验证运营策略或者产品改进。通常筛选用户ID末尾的数字，比如末尾选择0～4，于是抽样出了50%的用户，这既能保证随机性，也能保证控制性。 毕竟抽样的目的是验证和检验，需要始终保证用户群体的完全隔离，不能用户一会看到老界面，一会看到改进后的新界面。以上也适用于推荐算法的冠军挑战，用户分群等。 至于放回抽样，分层抽样，在互联网的数据分析中用不太到，这里就略过了。 点估计 设总体 X 的分布函数形式已知, 但它的一个或多个参数为未知,

方差分为：样本方差和总体方差； 　　总体方差计算公式： 　　 　　 为总体方差， 为变量， 为总体均值， 为总体例数。 　　实际工作中， 总体均数难以得到时 ，应用样本统计量代替总体参数，经校正后，样本方差计算公式： 　　S^2= ∑（X- ） ^2 / （n-1） 　　S^2为样本方差，X为变量， 为样本均值，n为样本例数。 标准差的平方就是方差； arr =【2，1，5】 excel上拉数据透视表： 总体方差：2.888889 　　　　　　　#=POWER（STDEVP(arr)，2） 总体标准（偏）差：1.699673　　　　#=STDEVP(arr) 方差：4.333333 #=VAR（arr） #样本方差 标准（偏）差：2.081666 #=SQRT(VAR(arr)) #样本标准差 python-numpy: import numpy as nparr = [2, 1, 5]arr_mean = np.mean(arr)arr_var = np.var(arr，ddof=1) #样本方差 arr_std = np.std(arr,ddof=1) #样本标准差 ddof就是：n-ddof,ddof默认为0print("平均值为：%f" % arr_mean)print("方差为：%f" % arr_var)print("标准差为:%f" % arr_std) 平均值为：2

链接：https://www.cnblogs.com/raorao1994/p/9050697.html 方差、标准差、协方差、相关系数 【方差】 　　（variance)是在概率论和统计方差衡量 随机变量 或一组数据时离散程度的度量。概率论中方差用来度量 随机变量 和其 数学期望 （即 均值 ）之间的偏离程度。统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的 平均数 。在许多实际问题中，研究方差即偏离程度有着重要意义。方差是衡量源数据和期望值相差的度量值。（百度百科） 　　 　　在统计描述中，方差用来计算每一个变量（观察值）与总体均数之间的差异。为避免出现离均差总和为零，离均差平方和受样本含量的影响，统计学采用平均离均差平方和来描述变量的变异程度。总体方差计算公式： 　　 　　实际工作中，总体均数难以得到时，应用样本统计量代替总体参数，经校正后，样本方差计算公式： 　　S^2= ∑(X- ) ^2 / (n-1) S^2为样本方差，X为变量， 为样本均值，n为样本例数。（无偏估计） 【标准差】 　　标准差（Standard Deviation） ，中文环境中又常称 均方差 ，是离均差平方的算术平均数的平方根，用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。平均数相同的两组数据，标准差未必相同。标准差也被称为 标准偏差 ，或者实验标准差

方差 在概率论和统计学中，一个随机变量的方差（Variance）描述的是它的离散程度，也就是该变量离其期望值的距离。一个实随机变量的方差也称为它的二阶矩或二阶中心动差，恰巧也是它的二阶累积量。方差的算术平方根称为该随机变量的标准差。 其定义为：如果E(X)是随机变量X的期望值（平均数） 设为服从分布F的随机变量，则称 为随机变量或者分布的方差： 其中，μ为平均数，N为样本总数。 分别针对离散型随机变量和连续型随机变量而言，方差的分布律和概率密度如下图所示： 标准差 标准差（Standard Deviation），在概率统计中最常使用作为统计分布程度（statistical dispersion）上的测量。标准差定义为方差的算术平方根，反映组内个体间的离散程度。 简单来说，标准差是一组数值自平均值分散开来的程度的一种测量观念。一个较大的标准差，代表大部分的数值和其平均值之间差异较大；一个较小的标准差，代表这些数值较接近平均值。例如，两组数的集合 {0, 5, 9, 14} 和 {5, 6, 8, 9} 其平均值都是 7 ，但第二个集合具有较小的标准差。 前面说过，方差的算术平方根称为该随机变量的标准差，故一随机变量的标准差定义为： 须注意并非所有随机变量都具有标准差，因为有些随机变量不存在期望值。 如果随机变量X为 具有相同概率，则可用上述公式计算标准差。上述方差.标准差等相关内容

一、导论 统计应用领域：企业发展战略、产品质量管理、市场研究、财务分析、经济预测、人力资源管理。 统计数据的分类：按计量尺度：分类数据、顺序数据、数值型数据（★） 　　　　　　　　按收集方法：观测数据、实验数据 　　　　　　　　按时间状况：截面数据、时间序列数据 二、数据的搜集 数据来源：调查或实验 调查方法分类：概率抽样：简单随机抽样、分层抽样、整群抽样、系统抽样、多阶段抽样 　　　　　　　非概率抽样：方便抽样、判断抽样、自愿样本、滚雪球抽样、配额抽样 搜集数据的基本方法：自填式、面访式、电话式、观察式 数据的误差：抽样误差 　　　　　　非抽样误差：抽样框误差、回答误差、无回答误差、调查员误差、测量误差 三、数据的图标展示 数据的预处理：数据审核、筛选、排序 品质数据包括分类数据和顺序数据，做分类整理 　　分类数据：计算频数与频数分布，或比例、比率等。图示有条形图、帕累托图、饼图、环形图 　　顺序数据：累积频数与累积频率。图示分类图示+累积频数分布或频率图 数值型数据做分组整理，有单变量值分组和组距分组两种，组距分组包括等距分组和不等距分组 　　图示：分组数据——直方图、未分组数据——茎叶图和箱线图、时间序列数据——线图、多变量数据——（散点图、气泡图、雷达图） 四、数据的概括性度量 数据分布特征：集中趋势的度量：分类数据——众数，顺序数据——中位数、四分位数，数值型数据—

1 概述交叉验证的使用：模型评价、超参数（阈值）优选，保证数据集同分布留一法交叉验证——MAE平均绝对误差 评价MAE（2 P68）实值函数回归 2 KNN模型 KNN Step1 预处理 x估计=x-μ/σ 并且记录{μ(k),σ(k),k=1,2,3,4} 平均错误率、标准差 Step2 选K值 KNN中的K m-fold（v） 2 p21 错误率最小的，作为最终的K，对样本集进行预测，K不能为偶数 m次，取n-1份作为训练集，1作为验证集合，得到(Acc(k),K)Step3 决策 K近邻回归，2类别分类K为奇数，防止相等无法判断 p44 混淆矩阵 自然状态*预测输出（TP、FN、FP、TN） p46 评价指标要记总体正确率、总体错误率、查准率Precision、查全率Recall/灵敏度Sensiticity、特异度（真阴性率）、漏报率（假阴性率）、虚警率（假阳性率）、Fβ-Score（查准率和查全率的调和平均）F=2Precision·Recal /（Precision+Recall）马修相关系数、Kappa系数西瓜书p32 宏平均、微平均宏平均：先带入xx率公式计算，再求平均值微平均：先求平均值，再带入xx率公式计算3 基于树的模型决策树主要是cartcart tree 不纯性度量： -分类目标：Gini指标 -连续目标：最小平方残差、最小绝对残差分类