样本方差

1、常见的集成学习框架 bagging，boosting、stacking （1）bagging 从训练集进行子抽样组成每个基模型所需要的子训练集，对所有基模型预测的结果进行综合产生最终的预测结果。 （2）boosting 训练过程为阶梯状，基模型按次序一一进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。对所有基模型预测的结果进行线性综合产生最终的预测结果。 （3）stacking 将训练好的所有基模型对训练基进行预测，第j个基模型对第i个训练样本的预测值将作为新的训练集中第i个样本的第j个特征值，最后基于新的训练集进行训练。同理，预测的过程也要先经过所有基模型的预测形成新的测试集，最后再对测试集进行预测。 2、偏差和方差 偏差（bias）描述的是预测值和真实值之间的差异，方差（variance）描述的是预测值作为随机变量的离散程度。 （1）方差越大的模型越容易过拟合。 （2）集成学习框架中的基模型是弱模型，通常来说弱模型是偏差高（在训练集上准确度低）方差小（防止过拟合能力强）的模型。但是并不是所有集成学习框架中的基模型都是弱模型。bagging和stacking中的基模型为强模型（偏差低方差高），boosting中的基模型为弱模型。 在bagging和boosting框架中，通过计算基模型的期望和方差，我们可以得到模型整体的期望和方差。为了简化模型

　　　　在 主成分分析（PCA）原理总结 中，我们对降维算法PCA做了总结。这里我们就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有必要了解下它的算法原理。 　　　　在学习LDA之前，有必要将其自然语言处理领域的LDA区别开来，在自然语言处理领域， LDA是隐含狄利克雷分布（Latent Dirichlet Allocation，简称LDA），他是一种处理文档的主题模型。我们本文只讨论线性判别分析，因此后面所有的LDA均指线性判别分析。 1. LDA的思想 　　　　LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”。什么意思呢？ 我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。 　　　　可能还是有点抽象，我们先看看最简单的情况。假设我们有两类数据 分别为红色和蓝色，如下图所示，这些数据特征是二维的，我们希望将这些数据投影到一维的一条直线，让每一种类别数据的投影点尽可能的接近

链接：https://www.cnblogs.com/raorao1994/p/9050697.html 方差、标准差、协方差、相关系数 【方差】 　　（variance)是在概率论和统计方差衡量 随机变量 或一组数据时离散程度的度量。概率论中方差用来度量 随机变量 和其 数学期望 （即 均值 ）之间的偏离程度。统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的 平均数 。在许多实际问题中，研究方差即偏离程度有着重要意义。方差是衡量源数据和期望值相差的度量值。（百度百科） 　　 　　在统计描述中，方差用来计算每一个变量（观察值）与总体均数之间的差异。为避免出现离均差总和为零，离均差平方和受样本含量的影响，统计学采用平均离均差平方和来描述变量的变异程度。总体方差计算公式： 　　 　　实际工作中，总体均数难以得到时，应用样本统计量代替总体参数，经校正后，样本方差计算公式： 　　S^2= ∑(X- ) ^2 / (n-1) S^2为样本方差，X为变量， 为样本均值，n为样本例数。（无偏估计） 【标准差】 　　标准差（Standard Deviation） ，中文环境中又常称 均方差 ，是离均差平方的算术平均数的平方根，用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。平均数相同的两组数据，标准差未必相同。标准差也被称为 标准偏差 ，或者实验标准差

机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法，诸如SVM，GBDT，Adaboost，现在 深度学习 很火热， 神经网络 也是一个不错的选择。 假如你在乎精度（accuracy）的话，最好的方法就是通过交叉验证（cross-valida ti on）对各个算法一个个地进行 测试 ，进行比较，然后调整参数确保每个算法达到最优解，最后选择最好的一个。但是如果你只是在寻找一个“足够好”的算法来解决你的问题，或者这里有些技巧可以参考，下面来分析下各个算法的优缺点，基于算法的优缺点，更易于我们去选择它。 1.天下没有免费的午餐 在机器学习领域，一个基本的定理就是“没有免费的午餐”。换言之，就是没有算法能完美地解决所有问题，尤其是对监督学习而言（例如预测建模）。 举例来说，你不能去说神经网络任何情况下都能比决策树更有优势，反之亦然。它们要受很多因素的影响，比如你的数据集的规模或结构。 其结果是，在用给定的测试集来评估性能并挑选算法时，你应当根据具体的问题来采用不同的算法。 当然，所选的算法必须要适用于你自己的问题，这就要求选择正确的机器学习任务。作为类比，如果你需要打扫房子，你可能会用到吸尘器、扫帚或是拖把，但你绝对不该掏出铲子来挖地。 2. 偏差

本文的出发点是一篇期刊论文，但集中探讨的是这篇文章中 不确定度估计的原理与过程 ，行文将与之前的文献报告不同。 原文 Bhattacharyya A , Fritz M , Schiele B . Long-Term On-Board Prediction of People in Traffic Scenes under Uncertainty[J]. 2017. 原文的一篇重要引用文献 Kendall A , Gal Y . What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?[J]. 2017. 关键词与基础概念 ： 车载视角、行人框预测、认知不确定性、偶然不确定性、采样、伯努利分布与dropout变分推断、蒙特卡洛积分、贝叶斯定理与贝叶斯推断、贝叶斯网络 近日在阅读“Long-Term On-Board Prediction of People in Traffic Scenes Under Uncertainty”，文章所提出的模型功能是基于车载移动视角对行人框位置做出预测，并能够同时评估两类不确定度（模型不确定度，数据不确定度）。 对神经网络的不确定度估计 涉及较多概率论的知识，而且从理论到应用的转化也涉及到使用近似量估计的问题，因此初次接触这部分知识该我带来了不小的挑战

Q1. 在回归模型中，下列哪一项在权衡欠拟合（under-fitting）和过拟合（over-fitting）中影响最大？ ¶ A. 多项式阶数 B. 更新权重 w 时，使用的是矩阵求逆还是梯度下降 C. 使用常数项 答案：A 解析：选择合适的多项式阶数非常重要。如果阶数过大，模型就会更加复杂，容易发生过拟合；如果阶数较小，模型就会过于简单，容易发生欠拟合。如果有对过拟合和欠拟合概念不清楚的，见下图所示： Q2. 假设你有以下数据：输入和输出都只有一个变量。使用线性回归模型（y=wx+b）来拟合数据。那么使用留一法（Leave-One Out）交叉验证得到的均方误差是多少？ A. 10/27 B. 39/27 C. 49/27 D. 55/27 答案：C 解析：留一法，简单来说就是假设有 N 个样本，将每一个样本作为测试样本，其它 N-1 个样本作为训练样本。这样得到 N 个分类器，N 个测试结果。用这 N个结果的平均值来衡量模型的性能。 对于该题，我们先画出 3 个样本点的坐标： 使用两个点进行线性拟合，分成三种情况，如下图所示： 第一种情况下，回归模型是 y = 2，误差 E1 = 1。 第二种情况下，回归模型是 y = -x + 4，误差 E2 = 2。 第三种情况下，回归模型是 y = -1/3x + 2,误差 E3 = 2/3。 则总的均方误差为： M S E = 1 3

介绍 Stacking 、 Bagging 和 Boosting 三种方式。 一、 Stacking 思想：由原始的训练集训练出若干个单模型，将单模型的输出结果作为样本特征进行整合，并把原始样本标记作为新数据样本标记，生成新的训练集。再根据训练集训练一个新模型，并对样本进行预测。 注意：模型训练时，如果直接使用一级模型对初始的训练样本进行预测来产生二级训练集，会产生较大的过拟合风险。因而，常采用 " 交叉验证法 " 或 " 留一法 " 来由一级模型未使用的样本产生二级模型的训练集。将样本划分为 K 份，选择 K-1 份作为 " 训练集 " ，剩余的一份作为 " 测试集 ", 因而总共有 K 种组合方式。每次使用一种方式来训练 T 个模型（模型可以是 " 异质的 " ，也可以是 " 同质的 " ），利用测试集产生一份训练数据作为样本特征，对应的原始测试集数据的样本标记被作为新数据样本标记来使用。最后，将由一级模型产生的 K 次结果组合到一起，作为二级模型的输入进行训练模型。 二、 Bagging 思想：对训练集进行有放回的抽样得到子训练集，比较著名的是 0.632 自助法。每个基学习器基于不同的子训练集进行训练，然后综合所有基学习器的预测值得到最终的预测结果。常采用 " 投票法 " ，即将票数最多的类别作为预测类别。 三、 Boosting 思想：模型的训练是按照顺序的

（一）什么是pca pca，也就是主成分分析法(principal component analysis)，主要是用来对数据集进行降维处理。举个最简单的例子，我要根据姓名、年龄、头发的长度、身高、体重、皮肤的白皙程度(随便想的)等特征来预测一个人的性别，但这些特征中有一个是最没有用的，是什么的？显然是年龄，因为年龄的大小跟这个人的性别无关。还有姓名，这个特征显然起不到决定性作用，因为有的男孩的名字起的就像女孩(比如我本人)，反之亦然，但是起码绝大多数情况还是能判断的。同理还有身高，一个180CM的很大概率是男孩，当然女孩也有180cm的，比如模特。像这样我从样本的特征中，挑选出最能代表样本、或者对样本预测起到决定性作用最大的n个特征，就叫做主成分分析。为什么会有pca呢？可以想象一个，显示生活中，样本的特征很多，成百上千个也是正常的，但是我们训练不可能用全部的特征进行训练，因为肯定有很多特征是没有用的，或者说起到的作用是很小的，我们的目的就是希望找到起到决定性最大的n个特征。 主成分分析的特征 一个非监督的机器学习算法 主要用于数据的降维 通过降维，可以发现更便于人类理解的特征 其他特征：可视化，去噪等等 我们举一个只有两个特征的例子 如果我们只考虑特征1，不考虑特征2的话，那么显然，蓝色的点要从二维映射到一维 那么同理，如果我们只考虑特征2，不考虑特征1的话，那么显然会是这样

本文转载自：https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit 译者注：本文智能单元首发，译自斯坦福CS231n课程笔记Neural Nets notes 2，课程教师Andrej Karpathy授权翻译。本篇教程由杜客翻译完成，堃堃进行校对修改。译文含公式和代码，建议PC端阅读。 原文如下 内容列表： 设置数据和模型 数据预处理 权重初始化 批量归一化（Batch Normalization） 正则化（L2/L1/Maxnorm/Dropout） 损失函数 小结 设置数据和模型 在上一节中介绍了神经元的模型，它在计算内积后进行非线性激活函数计算，神经网络将这些神经元组织成各个层。这些做法共同定义了评分函数（score function）的新形式，该形式是从前面线性分类章节中的简单线性映射发展而来的。具体来说，神经网络就是进行了一系列的线性映射与非线性激活函数交织的运算。本节将讨论更多的算法设计选项，比如数据预处理，权重初始化和损失函数。 数据预处理 关于数据预处理我们有3个常用的符号，数据矩阵X，假设其尺寸是[N x D]（N是数据样本的数量，D是数据的维度）。 均值减法（Mean subtraction）是预处理最常用的形式。它对数据中每个独立特征减去平均值

文章目录 一 监督学习 1 classification分类 （1） Binary Decision Tree(BDT)二分决策树 （2） Naive Bayesian Classifier朴素贝叶斯分类器 （3） Neural Network(NN)神经网络 （4）Convolution NN(CNN)卷积神经网络 （5）Deep Belief Networks(DBN)深度信念网络 （6）Recurrent NN(RNN)深度循环神经网络 2 regression回归 （1）LinearRegression线性回归： （2）树回归： 二 强化学习 1 Q-learning 2 Deep Q Networks 3 Double Q-learning 4 Prioritized experience replay 三 无监督学习 1 Dimensionality Reduction降维 （1）Stacked Auto-Encoders(SAE)栈式自编码 （2）Local Linear Embedding局部线性嵌入 2 Clustering聚类 （1）聚类算法简介 （2）聚类算法分类 （3）KMeans算法 （4）层次聚类（hierarchical clustering） （5） DBSCAN（基于密度的聚类算法） 3 Density Estimation密度估计 一 监督学习