方差

2018 - 06 - 21 创建人：Ruo_Xiao 邮箱：xclsoftware @163 .com 1、定义：数据分别与其平均数的差的平方和的平均数，由“D”表示。 2、意义：用于度量随机变量与数学期望（即均值）之间的偏离程度。 3、公式如下： 又名：均方差，用“σ”表示。 公式如下： 文章来源: 方差、标准差、平方差

1.前言 书上写的是： 1. 主成分分析假设源信号间彼此非相关，独立成分分析假设源信号间彼此独立。 2. 主成分分析认为主元之间彼此正交，样本呈高斯分布； 独立成分分析则不要求样本呈高斯分布。 在利用最大化信息熵的方法进行独立成分分析的时候，需要为源信号假定一个概率密度分布函数g'，进而找出使得g(Y)=g(Wx)的信息熵最大的变换W，即有Y=s。 我的问题是， 1. 这个概率密度分布函数怎么假定？在实际信号处理中怎么给出？ 2. 如果我观测到信号呈高斯分布，取g'为高斯分布，那么ICA和PCA得到的结果会相同吗？ 2.解析 不管是PCA还是ICA，都不需要对源信号的分布做具体的假设；如果观察到的信号为高斯，那么源信号也为高斯，此时PCA和ICA等价。下面稍作展开。 假设观察到的信号是n维随机变量 主成分分析（PCA）和独立成分分析（ICA）的目的都是找到一个方向，即一个n维向量 使得线性组合 的某种特征最大化。 2.1主成分分析 PCA PCA认为一个随机信号最有用的信息体包含在方差里 。为此我们需要找到一个方向 w1 ，使得随机信号x在该方向上的投影 w1(T)X 的方差最大化。接下来，我们在与 w1 正交的空间里到方向 w2 ，使得 w2(T)X 的方差最大，以此类推直到找到所有的n个方向 wn . 用这种方法我们最终可以得到一列不相关的随机变量 . 如果用矩阵的形式，记 W

一、PCA 1.PCA概念 PCA（principle component analysis），即主成分分析法，是一个非监督的机器学习算法，主要用于数据的降维，通过降维可以发现更便于人理解的特征，此外还可以应用于可视化和去噪。 例如对于有2个特征的样本，现在对样本进行降维处理。首先考虑选择特征1或者特征2，经过降维后的样本如图所示。 这个时候可以发现相对于选择特征2，选择特征1进行映射后，样本的可区分度更高。除了向某个特征做映射，还可以选择某个轴进行映射，例如下图所示的轴，样本经过映射后，可以有更大的间距。所以现在的问题就是如何找一个轴，使样本的有最大的间距。 2.求解思路 事实上，可以使用方差来定义样本之间的间距。方差越大表示样本分布越稀疏，方差越小表示样本分布越密集。 在求解方差前，可以先对样本减去每个特征的均值，这种处理方式不会改变样本的相对分布，并且求方差的公式可以转换成图示的公式。在这里，xi代表已经经过映射后的样本，此时xi每个维度上的均值都是0。 现在求一个轴的方向w=（w1,w2），使得映射到w之后方差最大。 因此求解的公式可以转换成如下形式。 因此求解的目标转换成。这就转换成了求目标函数的最优化问题，可以通过梯度上升法进行求解。 二、梯度上升法求解 1.公式求解 最终公式可以化简为如下形式。 2.代码实现 import numpy as np import

生物统计学-描述统计 首先必须明确：生物实验的总体是无穷个，而研究人员做生物实验得到的数据永远是样本。因为不同类别的变量指向不同的统计方法，所以必须首先明确变量类型。 变量类型有： 其中，类别变量的本质是字符串，数值变量的本质是数值型，所以，虽然有些类别变量表现为数字，但将它们做运算的结果是没有任何意义的。 数据类型的分类依据有： 获取方式（观测数据；实验数据）、衡量尺度（数值型数据；顺序数据；分类数据）、属性（定性数据；定量数据）、数学性质（离散数据；连续数据）。。。。。： 其中，二次数据需注意经过何种处理，因为这样才能知道该数据是否适合本研究或者该数据对于本研究是否过时，这是数据筛选的一种。 得到了有效数据之后，将用表与图将这些数据的信息表现出来，关键在于用最简洁的表现方法表现出最大的信息量。 为了进一步分析数据，统计学上规定了一些术语： eg 1000 A 1000 ：n m ：X x ：第一次试验的数据中的第二个测量量 ：第一次试验的数据中的第三个测量量 ：n ：n 参数仅是对于总体而言的真值，而统计量完全由样本中的随机变量计算出来与参数无关，所以只能用统计量来进行参数估计和假设检验，而不能确定真实的参数值，所以统计量也是随机变量。具体而言，就是每次实验都会得到一个统计量的值作为参数的估计值，有可能回回都不一样。 为了准确描述统计量的特征，研究人员通过对统计量的数学运算

/// <summary> /// 提供正态分布的数据和图片 /// </summary> public class StandardDistribution { /// <summary> /// 样本数据 /// </summary> public List<double> Xs { get; private set; } public StandardDistribution(List<double> Xs) { this.Xs = Xs; Average = Xs.Average(); Variance = GetVariance(Xs); if (Variance == 0) throw new Exception("方差为0");//此时不需要统计 因为每个样本数据都相同，可以在界面做相应提示 StandardVariance = Math.Sqrt(Variance); } /// <summary> /// 方差/标准方差的平方 /// </summary> public double Variance { get; private set; } /// <summary> /// 标准方差 /// </summary> public double StandardVariance { get; private set; } /// <summary> ///

0 写在前面 所谓的降维就是用一个低维度的向量表示原始高维度的特征。常见的降维方法有 主成分分析、线性判别分析、等距映射、局部线性嵌入、拉普拉斯特征映射、局部保留投影 。 01 PCA最大方差理论 Q1：如何定义主成分？从这种定义出发，如何设计目标函数使得降维达到提取主成分的目的？针对这个目标函数，如何对PCA问题进行求解？ A1：PCA旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。 证明过程详见P75-77 02 PCA最小平方误差理论 Q1：PCA求解的其实时最佳投影方向，即一条直线， 这与数学中线性回归问题的目标不谋而合，能否从回归的角度定义PCA的目标并相应地求解问题呢？ A1：线性回归问题就是求解一个线性函数使得对应直线能够更好地拟合样本集合。如果从这个角度定义PCA的目标，那么问题就会转化为一个回归问题。证明见P79-81 03 线性判别分析 LDA是目前机器学习、数据挖掘领域中经典热门的一种算法。相比于PCA，LDA可以作为一种有监督的降维算法。在PCA中，算法没有考虑数据的标签（类别），只是把原数据映射到一些方差比较大的方向上而已。 Q1：对于具有类别标签的数据，应当如何设计目标函数使得降维的过程中不损失类别信息？在这种目标下，应当如何进行求解？ A1：LDA首先是为了分类服务的，因此只要找到一个投影方向w

来源： https://www.zhihu.com/question/36481348 文章来源: https://blog.csdn.net/weixin_42631192/article/details/88884967

1、Batch Normalization的引入 　　在机器学习领域有个很重要的假设：IID独立同分布假设，也就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集上获得好的效果的一个基本保障。在深度学习网络中，后一层的输入是受前一层的影响的，而为了方便训练网络，我们一般都是采用Mini-Batch SGD来训练网络的（Mini-Batch SGD的两个优点是：梯度更新方向更准确和并行计算速度快）。 　　我们知道在神经网络训练开始前，都要对输入数据做一个归一化处理，那么具体为什么需要归一化呢？归一化后有什么好处呢？原因在于神经网络学习过程本质就是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另外一方面，一旦每批训练数据的分布各不相同(batch 梯度下降)，那么网络就要在每次迭代都去学习适应不同的分布，这样将会大大降低网络的训练速度，这也正是为什么我们需要对数据都要做一个归一化预处理的原因。 　　对于深度网络的训练是一个复杂的过程，只要网络的前面几层发生微小的改变，那么后面几层就会被累积放大下去。一旦网络某一层的输入数据的分布发生改变，那么这一层网络就需要去适应学习这个新的数据分布，所以如果训练过程中，训练数据的分布一直在发生变化，那么将会影响网络的训练速度。 　　除了输入层的数据外(因为输入层数据

模糊的概念： 1、给定的时刻，噪声可能的取值服从某种概论分布，但这种分布不能描述不同时刻噪声之间的关系。 高斯白噪声的理解： 问题1：噪声的均值代表了什么样的物理意义呢？ 答：就是噪声可能取值的平均值 问题2：噪声的方差代表了什么样的物理意义呢？ 答： a):噪声是功率信号 b):功率信号的自相关在0时刻的取值=信号的平均功率 c):高斯白噪声的自相关在0时刻的取值=高斯白噪声的方差 根据a)、b)、c)可以推出 高斯白噪声的方差=高斯白噪声信号的平均功率！ 问题3：噪声的功率谱的物理意义是什么？ 答：对于高斯白噪声而言，其功率谱=噪声的方差，而噪声的方差=噪声信号的平均功率 因此，功率谱=噪声的平均功率 疑问： 1、相关可以理解为一类时域特殊的平均？ 2、功率谱可以理解为一类频域特殊的平均？ 来源： https://blog.csdn.net/dream_201306/article/details/102620673

对预测模型讨论，预测误差（error）分两类：偏差（bias）造成的误差与方差（variance）造成的误差。最小化偏差与方差的一个权衡。理解这两类误差有利于诊断模型结果和避免过拟合和欠拟合。 偏差与方差 三种方式定义偏差与方差：概念、图形、数学 概念定义： 偏差造成的误差：预期/平均预测值 和 尝试正确预测的值之差。预期/平均预测值作何理解？多次建模，新数据新分析建立模型，由于数据随机，预测会产生一系列预测。偏见度量模型预测（models' predictions） 远离 正确值(the correct value)的程度. 方差造成的误差：对于给定数据点，模型预测的可变性。重复多次，方差就是对于给定点预测，在模型的不同实现之中变化的多少。 图形定义： 由靶心图可视化偏差与方差。靶心完全预测正确，偏离靶心预测差。训练中数据偶然变化。好的时候，集中在靶心；坏，outlier、非标准值（non-standard values）。散点图 图： 高/低 偏差/方差 数学定义： The Elements of Statistical Learning中的定义： Variable:预测Y，协变量(covariate)X，存在一种关系，Y=f(X)+e，误差项e为零均值正态分布。 文章来源： http://scott.fortmann-roe.com/docs/BiasVariance