方差公式

在机器学习领域中，有一个重要的假设：独立同分布假设，也就是假设训练数据和测试数据是满足相同分布的，否则在训练集上学习到的模型在测试集上的表现会比较差。而在深层神经网络的训练中，当中间神经层的前一层参数发生改变时，该层的输入分布也会发生改变，也就是存在内部协变量偏移问题（Internal Covariate Shift），从而造成神经层的梯度消失，模型收敛过慢的问题。 Batch Normalization（BN，批量标准化）就是一种解决内部协变量偏移问题的方法，它通过对神经网络的中间层进行逐层归一化，让每一个中间层输入的分布保持稳定，即保持同一分布。 下面从以下四个方面来深入理解Batch Normalization的原理。 1、内部协变量偏移问题 2、训练时的Batch Normalization 3、推断时的Batch Normalization 4、Batch Normalization的优点 一、内部协变量偏移问题 1、内部协变量偏移问题的产生 在传统机器学习中，一个常见的问题是协变量偏移（Covariate Shift），大致的意思就是数据会随着时间而变化，用旧数据训练好的模型去预测新数据时，结果可能会不准确。输入数据可以看做是协变量，机器学习算法要求输入数据在训练集和测试集上满足同分布，这样把模型用来预测新的数据，才能有较好的结果。 而深层神经网络中的内部协变量偏移

一、统计学的基本概念 统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述： 均值： 标准差： 方差： 均值描述的是样本集合的中间点，它告诉我们的信息是有限的，而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。 以这两个集合为例，[0, 8, 12, 20]和[8, 9, 11, 12]，两个集合的均值都是10，但显然两个集合的差别是很大的，计算两者的标准差，前者是8.3后者是1.8，显然后者较为集中，故其标准差小一些，标准差描述的就是这种“散布度”。之所以除以n-1而不是n，是因为这样能使我们以较小的样本集更好地逼近总体的标准差，即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。 二、为什么需要协方差 标准差和方差一般是用来描述一维数据的，但现实生活中我们常常会遇到含有多维数据的数据集，最简单的是大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，比如，一个男孩子的猥琐程度跟他受女孩子的欢迎程度是否存在一些联系。协方差就是这样一种用来度量两个随机变量关系的统计量，我们可以仿照方差的定义： 来度量各个维度偏离其均值的程度，协方差可以这样来定义： 协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的（从协方差可以引出

一、统计学的基本概念 　　统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述： 均值： 标准差： 方差： 　　均值描述的是样本集合的中间点，它告诉我们的信息是有限的，而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。 　　以这两个集合为例，[0, 8, 12, 20]和[8, 9, 11, 12]，两个集合的均值都是10，但显然两个集合的差别是很大的，计算两者的标准差，前者是8.3后者是1.8，显然后者较为集中，故其标准差小一些，标准差描述的就是这种“散布度”。之所以除以n-1而不是n，是因为这样能使我们以较小的样本集更好地逼近总体的标准差，即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。 二、为什么需要协方差 　　标准差和方差一般是用来描述一维数据的，但现实生活中我们常常会遇到含有多维数据的数据集，最简单的是大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，比如，一个男孩子的猥琐程度跟他受女孩子的欢迎程度是否存在一些联系。协方差就是这样一种用来度量两个随机变量关系的统计量，我们可以仿照方差的定义： 　　来度量各个维度偏离其均值的程度，协方差可以这样来定义： 　　协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的

偏差（Bias）与方差（Variance） 目录： 为什么会有偏差和方差？ 偏差、方差、噪声是什么？ 泛化误差、偏差和方差的关系？ 用图形解释偏差和方差。 偏差、方差窘境。 偏差、方差与过拟合、欠拟合的关系？ 偏差、方差与模型复杂度的关系？ 偏差、方差与bagging、boosting的关系？ 偏差、方差和K折交叉验证的关系？ 如何解决偏差、方差问题？ 1. 为什么会有偏差和方差？ 对学习算法除了通过实验估计其泛化性能之外，人们往往还希望了解它为什么具有这样的性能。“偏差-方差分解”（bias-variance decomposition）就是从偏差和方差的角度来解释学习算法泛化性能的一种重要工具。 在机器学习中，我们用训练数据集去训练一个模型，通常的做法是定义一个误差函数，通过将这个误差的最小化过程，来提高模型的性能。然而我们学习一个模型的目的是为了解决训练数据集这个领域中的一般化问题，单纯地将训练数据集的损失最小化，并不能保证在解决更一般的问题时模型仍然是最优，甚至不能保证模型是可用的。这个训练数据集的损失与一般化的数据集的损失之间的差异就叫做泛化误差（generalization error）。 而泛化误差可以分解为偏差（Biase）、方差（Variance）和噪声（Noise）。 2. 偏差、方差、噪声是什么？ 为了更好的理解偏差、方差和噪声概念，这一部分我分两个小节来阐述

偏差方差分解 (误差分解) 先引入一个问题: Machine Learning 与 Curve Fitting 的区别是什么? 1 Curve Fitting 是使用所有的数据拟合一条曲线; 而 Machine Learning 是采用真实世界中采样的一小部分数据,并且我们希望我们的模型能够对于未知数据有不错的泛化性能.因此涉及到Bias-Variance的权衡. 学习算法的预测误差, 或者说泛化误差(generalization error)可以分解为三个部分: 偏差(bias), 方差(variance) 和噪声(noise). 在估计学习算法性能的过程中, 我们主要关注偏差与方差. 因为噪声属于不可约减的误差 (irreducible error). 下面来用公式推导泛化误差与偏差与方差, 噪声之间的关系. 符号 涵义 \(\mathbf{x}\) 测试样本 \(D\) 数据集 \(y_{D}\) \(\mathbf{x}\) 在数据集中的标记 \(y\) \(\mathbf{x}\) 的真实标记 \(f\) 训练集 \(D\) 学得的模型 \(f(\mathbf{x}; D)\) 由训练集 \(D\) 学得的模型 \(f\) 对 \(\mathbf{x}\) 的预测输出 \(\bar{f}(\mathbf{x})\) 模型 \(f\) 对 \(\mathbf{x}\) 的

PCA降维 1.相关背景 我们在实际工作中经常需要分析不同组呈现来的成千上百个指标的数据，这些指标之间经常有一些相关性指标，比如厘米和英尺，这样的指标我们只要保留一个就可以，还有一些隐藏的高度相关的特征，以通过降维方法来进行数据预处理。 2. 数据降维 主成分分析（Principal Component Analysis，简称PCA）是一种常用的降维方法，属于无监督学习。所谓降维就是将数据指标从高维度减到低维度，因为低维度的数据有如下优点： 1) 更容易进行数据分析和数据可视化 2）更容易进行数据存储 3）降低算法的运行成本 3.PCA原理 样本点分布在正交属性空间中，我们如何找到一个超平面（直线的高维推广）对所有样本点最合适的表达？ 1.最近重构性：样本点到这个超平面的距离足够近（类似线性回归） 2.最大可分性：样本点到这个超平面的投影尽可能分开（方差最大化） 以上两种方式得到的主成分分析的推导是等价的，下面从”最大可分析“进行推导PCA的过程。 3.1 向量的表示及基变换 3.1.1 向量的內积 a ⃗ ⋅ b ⃗ = ∣ a ⃗ ∣ ∣ b ⃗ ∣ c o s α ( α 为 两 个 向 量 的 夹 角 ) \vec a\cdot\vec b = |\vec a||\vec b|cos\alpha(\alpha为两个向量的夹角) a ⋅ b = ∣ a ∣ ∣ b ∣ c o

统计学：参数估计 概念 1.利用总体统计不方便甚至是无法完成的现实状况，采用抽样的方式，利用样本提供的信息来推断总体的特征。 2.点估计：point estimate, 用样本统计量的某个取值直接作为总体参数的估值。 但一个点估计值的可靠性是由它的抽样标准误差来衡量的，这表明一个具体的点估计值无法给出估计的可靠性的度量。 当围绕点估计值构造总体参数的一个区间，这就是区间估计。 3.区间估计：interval estimate ,在点估计的基础上，给出总体参数估计的一个区间范围，该区间通常由样本统计量加减估计误差得到。 根据样本统计量的抽样分布可以对样本统计量与总体参数的接近程度给出一个概率度量。 在区间估计中，由样本统计量所构成的总体参数的估计区间称为置信区间，其中区间的最小值称为置信下限，最大值称为置信上限。 置信水平：将构造置信区间的步骤重复多次，置信区间中包含总体参数真值的次数所占的比例，称为置信水平 confidence level ，也称为置信度或置信系数。 如果用某种方法构造的所有区间中有95%的区间包含总体参数的真值，5%的区间不包括总体参数的真值，那么用该方法构造的区间称为置信水平位95%的置信区间。 评价估计量的标准 🔽无偏性：指估计量抽样分布的数学期望等于被估计的总体参数。 设 总 体 参 数 位 θ , 所 选 择 的 估 计 量 为 θ ⃗ , 如 果 E

今天，我们来讲一讲“均值方差模型”。 介绍模型之前，先讲一下模型诞生背后的故事。 背后的故事 从前，有一个年轻人，叫 哈里·马科维兹（Harry Markowitz） ，彼时他正在芝加哥大学攻读经济学博士学位，一次偶然的机会他在办公室门外等待见导师、准备讨论博士论文时遇到了一个股票经纪人，和股票经纪人的一番交谈使他的研究方向转向了证券市场。导师鼓励他对这个领域进行研究，并给他推荐了当时著名的经济学家约翰·威廉姆斯（John Williams）最出名的一本书：《投资价值理论》（The Theory of Investment Value) 。 威廉姆斯认为，证券的价格反映了其“内在价值”，而 证券的价值就是其未来股息的折现价格 。但马科维兹很快就发现这个理论缺少了对“风险”的分析：投资者固然要最大化预期折现收益，同时也应该考虑到收益的方差（variance）是一个不好的东西，投资者在决策过程中应该同时考虑这两个方面，并且应该这样构建一个投资组合： 在“预期收益”和“收益的方差”之间做权衡取舍（trade-off） 。 （有点复杂，但这句话很重要...) 于是在1952年，25岁的马科维兹在The Journal of Finance这本顶级金融学期刊上发表了一篇论文，叫 《证券投资组合选择》（Portfolio Selection） 。 这篇论文当时并没有引起很大的轰动

总体样本方差的无偏估计样本方差为什么除以n-1 本文链接： https://blog.csdn.net/qq_16587307/article/details/81328773 我们先从最基本的一些概念入手。 如下图，脑子里要浮现出总体样本 ，还有一系列随机选取的样本 。只要是样本，脑子里就要浮现出它的集合属性，它不是单个个体，而是一堆随机个体集合。样本 是总体样本中随机抽取一系列个体组成的集合，它是总体样本的一部分。 应该把样本 和总体样本 一样进行抽象化理解，因此样本 也存在期望 和方差 。 这里有一个重要的假设，就是随机选取的样本 与总体样本同分布，它的意思就是说他们的统计特性是完全一样的，即他们的期望值一样，他们的方差值也是一样的： 另外，由于每个样本的选取是随机的，因此可以假设 不相关(意味着协方差为0，即 )，根据方差性质就有: 另外，还需要知道方差另外一个性质： 为常数。 还有一个，别忘了方差的基本公式： 以上的公式都很容易百度得到，也非常容易理解。这里不赘述。 2）无偏估计 接下来，我们来理解下什么叫无偏估计。 定义 ：设统计量 是总体中未知参数 的估计量，若 ，则称 为 的 无偏估计量 ；否则称为有偏估计量。 上面这个定义的意思就是说如果你拿到了一堆样本观测值，然后想通过这一堆观测值去估计某个统计量 ，一般就是想估计总体的期望或方差

数据清洗和特征选择 数据清洗 清洗过程 数据预处理： 选择数据处理工具：数据库、Python相应的包； 查看数据的元数据及数据特征； 清理异常样本数据： 处理格式或者内容错误的数据； 处理逻辑错误数据：数据去重，去除/替换不合理的值，去除/重构不可靠的字段值； 处理不需要的数据：在进行该过程时，要注意备份原始数据； 处理关联性验证错误的数据：常应用于多数据源合并的过程中。 采样： 数据不均衡处理：上采样、下采样、SMOTE算法 样本的权重问题 数据不平衡 在实际应用中，数据的分布往往是不均匀的，会出现"长尾现象"，即绝大多数的数据在一个范围/属于一个类别，而在另外一个范围或者类别中，只有很少一部分数据。此时直接采用机器学习效果不会很好，因此需要对数据进行转换操作。 长尾效应： 解决方案01 设置损失函数的权重， 使得少数类别数据判断错误的损失大于多数类别数据判断错误的损失 ，即：当我们的少数类别数据预测错误的时候，会产生一个比较大的损失值，从而导致模型参数往让少数类别数据预测准确的方向偏。 可通过设置sklearn中的class_weight参数来设置权重。 解决方案02 下采样/欠采样(under sampling)： 从多数类中随机抽取样本从而减少多数类别样本数据 ，使数据达到平衡的方式。 集成下采样/欠采样：采用普通的下采样方式会导致信息丢失