残差

参数的最小二乘估计 1、SPSS操作步骤 根据数据，求销售收入与广告费用的估计的回归方程。 第一步，选择【分析】下拉菜单,并选择【线性】选项，进入主对话框。 第二步，在主对话框中将因变量（销售收入）选入【因变量】，将自变量（广告费用）选入【自变量】，点击保存。 第三步，在【预测值（Predicted Values）】中选中【未标准化（Unstandardized）】（输出点预测值）； 在【残差（Residuals）】中选中【未标准化（Unstandardized）】和【标准化（standardized）】（输出残差和标准化残差）； 在【预测区间（Prediction interval）】下选中【平均值（Mean）】和【单值（Individual）】（输出置信区间和预测区间）； 在【置信区间（Confidence Interval）】中选择所要求的的置信水平（隐含值95%，一般不用改变）。 单击继续回到主对话框。单击确定。 2、输出结果 输出结果如图所示。 利用一元回归模型进行预测 同上例在SPSS的相关操作。输出结果如下图所示。 来源： https://www.cnblogs.com/cherish-cxh/p/12652791.html

GBDT回归树过程详解 转载 简单点1024 最后发布于2018-04-11 22:56:46 阅读数 10281 收藏 展开 综述 GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。   GBDT中的树是回归树（不是分类树），GBDT用来做回归预测，调整后也可以用于分类。   GBDT的思想使其具有天然优势可以发现多种有区分性的特征以及特征组合。业界中，Facebook使用其来自动发现有效的特征、特征组合，来作为LR模型中的特征，以提高 CTR预估（Click-Through Rate Prediction）的准确性（详见参考文献5、6）；GBDT在淘宝的搜索及预测业务上也发挥了重要作用（详见参考文献7）。 一、Regression Decision Tree：回归树 回归树总体流程类似于分类树，区别在于，回归树的每一个节点都会得一个预测值，以年龄为例，该预测值等于属于这个节点的所有人年龄的平均值。分枝时穷举每一个feature的每个阈值找最好的分割点，但衡量最好的标准不再是最大熵，而是最小化平方误差。也就是被预测出错的人数越多

3 月，跳不动了？>>> 残差收缩网络是在“残差网络ResNet”基础上的一种改进网络，是由“残差网络”和“ 收缩 ”两部分所组成的。 其中，ResNet在2015年斩获了ImageNet图像识别竞赛的冠军，目前已经成为了深度学习领域的基础网络。 “收缩”是残差收缩网络的核心贡献，指的是“软阈值化” ，它是很多信号降噪算法的关键步骤。在残差收缩网络中，软阈值化所需要的阈值，实质上是借助 注意力机制 设置的。 在本文中，我们首先对残差网络、软阈值化和注意力机制的基础知识进行了简要的回顾，然后对残差收缩网络的动机、算法和应用展开解读。 1.基础回顾 1.1 残差网络 从本质上讲，残差网络（又称深度残差网络、深度残差学习）是一种卷积神经网络。相较于普通的卷积神经网络，残差网络采用了跨层恒等连接，以减轻卷积神经网络的训练难度。残差网络的一种基本模块如图所示。 1.2 软阈值化 软阈值化是许多信号降噪方法的核心步骤 。它的用处是将绝对值低于某个阈值的特征置为零，将其他的特征也朝着零进行调整，也就是“收缩”。在这里，阈值是一个需要预先设置的参数，其取值大小对于降噪的结果有着直接的影响。软阈值化的输入与输出之间的关系如下图所示。 从图2可以看出，软阈值化是一种非线性变换，有着与ReLU激活函数非常相似的性质：梯度要么是0，要么是1。因此，软阈值化也能够作为神经网络的激活函数。事实上

背景 深度学习在各种生物医学图像分割任务重显示出巨大的应用前景。现有的模型一般基于U-Net，它依赖重复叠加的局部算子来聚合远程信息。这样做会限制模型的训练效率和最终效果。这篇文章提出了非局部的U-Nets网络架构，提出了全局聚合块的应用，它能够融合来自任何大小的特征映射的全局信息。通过在三维多模等强度婴儿脑磁共振图像分割任务上进行试验证明这个模型参数少，计算速度快，并且具有更好的分割效果。 介绍 U-Net的缺点 U-Net是由一个下采样编码器和一个上采样解码器以及它们之间的跳过连接组成的。它通过编解码过程来 U-Net主要有两个局限性： 编码器通常叠加卷积和池化操作以逐步减小特征图的大小。这种方式会引入大量参数，降低模型的效率。此外，下采样会不断丢失空间信息，也会影响最终的分割效果。 上采样过程涉及到空间信息的恢复，如果不考虑全局信息很难实现。 创新点 文章中针对U-Net的这些缺点，进行了几点创新。 提出了一个基于自我主义算子的全局聚合块，它能够在没有深入编码器结构的情况下聚合全局的信息。 将这个全局聚合块应用到上采样过程中，也一定程度上解决了上述第二个问题。 Non-local U-Nets 基于U-Net框架的示意图如下： 输入首先经过一个编码输入块，它提取低层特征。接着利用两个下采样块来减少空间尺寸，以此来获得高阶特征。在这之后，底层块聚合全局信息并产生编码器的输出

发表：2019.3.21 CVPR MobileNet_v1遗留问题：简单的直筒结构性价比低可以复用图像特征提升网络的性价比、depthwise的卷积核比普通Conv的维度低在经过ReLU操作后会带来大量损失 方法：Linear Bottlenecks、Inverted residuals 参考博客1 参考博客2 参考博客3 一、Linear Bottlenecks 作者认为满足感兴趣流形区域(manifold of interest)坐落在高维激活空间的低维子空间的条件下： 感兴趣流形区域在ReLU之后保持了非0，相当于线性转换。 ReLU能够保持输入流性的完整性。 （这一部分没有搞清楚） 此处线性瓶颈就是在原基础上去掉最后一层的ReLU，因为特征经过高维向低维的变换后再经过ReLU会带来很大的损失，ReLU对低维特征的变换带来的损失要比高维大很多。第三张图是本文采取的模块，此处有一个疑问就是原本用可分离卷积是为了减少计算量，但是此时因为可分离卷积的特性需要将通道扩大这样不会又带来更多的计算吗，一增一减带来的效益如何呢。是因为计算量都集中在了1×1的点卷积上所以即使扩大了3×3的通道数带来的计算量也不会特别大吗？ 二、Inverted residuals 瓶颈实际上包含所有必要的信息，倒残差在瓶颈之间直接使用shortcut，扩张层仅仅作为一个伴随张量非线性变换的实现细节。 三

总的来说这篇论文提出了ResNet架构，让训练非常深的神经网络(NN)成为了可能 。 什么是残差？ “残差在数理统计中是指实际观察值与估计值（拟合值）之间的差。”如果回归模型正确的话， 我们可以将残差看作误差的观测值。”更准确地，假设我们想要找一个 x x，使得 f ( x ) = b f(x)=b，给定一个 x x 的估计值 x 0 x0，残差（residual）就是 b − f ( x 0 ) b−f(x0)，同时，误差就是 x − x 0 x−x0 为什么需要堆叠更深的NN呢？ 论文阐述道 -- 深度神经网络自然的集成了低、中、高阶特征，同时随着网络深度的提升，这些特征也会随之丰富，这些丰富的特征对于最后执行的分类或回归任务来说都是很有意义的，一般认为可以获得更好的结果； 但是，论文又指出一些问题，堆叠深层的NN存在一些问题: -- 堆叠深层的网络后，网络的学习会变得更加的不容易，因为存在着梯度消失/爆炸问题(BN一定程度解决)，会妨碍模型的收敛，使得模型不能得到很好的学习； -- 通过实验发现，堆叠更深的网络存在着退化问题，即随着深度的增加，在分类任务中的正确率会饱和并开始迅速的下降，并且会得到更大的训练损失； 所以可以得到想要优化深层的网络结果并不容易，那么现有解决方法是怎么构造更深层的模型呢？ 作者阐述了一种方法就是：增添的网络层都是恒等映射网络

1.概念： 压缩（编码） ：因为未经压缩的数字视频的数据量巨大，在相对有限的存储空间和传输带宽条件下，其在互联网上的传输会有极大的不便，所以在视频的传输之前，会对视频数据和音频数据进行一定算法的压缩，这个过程又称为编码。 帧内（Intraframe）压缩 ：也称为空间压缩，当压缩一帧图像时，只考虑本帧的数据而不考虑相邻帧之间的冗余信息，帧内一般采用有损压缩算法，由于帧内压缩时各个帧之间没有相互关系，所以压缩后的视频数据仍可以以帧为单位进行编辑。帧内压缩一般达不到很高的压缩比率，可能有一定的失真。 基于同一帧内已编码块预测，构造预测块，计算与当前块的残差，对残差、预测模式等信息进行编码。其主要去除的是 空域冗余 。 帧间（Interframe）压缩 ：是基于许多视频或 动画的连续前后两帧具有很大的相关性，或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之间具有冗余信息，根据这一特性，压缩相邻帧之间的冗余量就可以进一步提高压缩量，减小压缩比。帧间压缩也称为时间压缩（Temporalcompression），它通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。帧差值（Frame differencing）算法是一种典型的时间压缩法，它通过比较本帧与相邻帧之间的差异，仅记录本帧与其相邻帧的差值，这样可以大大减少数据量。 基于一个或多个已编码帧预测，构造预测块

R语言回归分析 回归分析可以说是统计学的核心，它其实是一个广义的概念，通指那些用一个或多个预测变量（也称自变量或解释变量）来预测响应变量（也称因变量、效标变量或结果变量）的方法。通常，回归分析可以用来挑选与响应变量相关的解释变量，可以描述两者的关系，也可以生成一个等式，通过解释变量来预测响应变量。 最小二乘法回归是通过预测变量的加权和来预测量化的因变量，其中权重是通过数据估计而得的参数，目标是通过减少响应变量的真实值与预测值的差值来获得模型参数（截距项和斜率），具体而言，即使得残差平方和最小。下面将通过几篇博客介绍回归分析，这是第二篇：异常观测值。 8.4.1 离群点 离群点是指那些模型预测效果不佳的观测点。它们通常有很大的、或正或负的残差（Y[i] –Ŷ[i] 。 正的残差说明模型低估了响应值，负的残差则说明高估了响应值。下面是查看离群点的两种方法： QQ图：在之前通过QQ图，落在置信区间带外的点即可被认为是离群点 标准化残差：另外一个粗糙的判断方法是：标准化残差值大于2或者小于–2的点可能是离群点，需要特别关注。 这里介绍的是 car 包里面的 outlierTest() 函数，该函数可以求得最大标准化残差绝对值Bonferroni调整后的p值，注意，该函数只是根据单个最大（或正或负）残差值的显著性来判断是否有离群点。若不显著，则说明数据集中没有离群点；若显著

一、MID-Fusion: Octree-based Object-Level Multi-Instance Dynamic SLAM A.系统概述 图2显示了我们提出的系统的流程。它由四个部分组成： segmentation, tracking, fusion and raycasting 。每个输入的RGB-D图像都由Mask R-CNN处理以执行实例分割，然后进行几何边缘分割和计算运动残差以优化蒙版边界（第IV-D节）。对于tracking，我们首先根据不包括人类蒙版区域的所有顶点计算相机位姿（第IV-B节），然后从该位姿进行光线投射，以找出哪些物体在当前帧中是可见的。这也可以帮助将局部对象蒙版与现有对象模型相关联。我们评估每个对象的运动残差以确定其是否处于运动状态，然后追踪运动物体（第IV-C节）并根据静态世界（包括当前的静态对象）改进相机的位姿（第IV-B节）。使用相机和物体的估计位姿，将深度和颜色信息以及预测的语义和前景概率融合到物体模型中（第IV-E节）。 IV-F节介绍了可见物体的检测以及射线投射。 B.RGB-D Camera tracking 计算相机位姿分为两步 1.根据除人类外的所有模型的顶点计算相机位姿。 2.根据静态场景计算相机位姿。 通过最小化密集的点到面的ICP残差eg和光度（RGB）残差ep来进行这两个步骤

%%1、bint表示回归系数区间估计可参考http://www.360doc.com/content/11/0801/20/2537127_137246007.shtml %2、r表示残差 %3、rint代表置信区间 %4、stas表示用于检验回归模型的统计量，有三个数值 r^2 F 与F对应的概率P 例如p<0.05 残差95% % r^2越接近于1，回归方程越显著 %alpha表示显著水平 %% x=[143 144 145 147 148 150 153 154 155 156 157 158 159 160 161 162]’; X=[ones(16,1),x]; Y=[87 85 88 91 92 90 93 95 98 98 97 95 97 99 100 102]’; [b,bint,r,rint,stats]=regress(Y,X) t=1:16; %% figure(1); y_fitting=X(t,:)*b; plot(t,y_fitting,‘r-’, t,Y(t,:),‘b-’, t,abs(y_fitting-Y(t,:)),‘k-’); legend(‘红–拟合值’,‘蓝–实际值’,‘黑–误差值’); text(3,50,strcat(‘相关系数R=’,num2str(stats(1,1 )))); text(7,50,strcat(‘F=’