残差

栗子 发自 凹非寺 量子位 出品 | 公众号 QbitAI 看动画 (特别是里番) 的时候，总会觉得画质不够好，就算已经有1080p，还是会感到不够清晰。 所以，这个世界十分需要一套拯救分辨率的魔法。 如今，有个名叫 Anime4K 的开源算法，能在动画播放中， 实时 把画面变成 4k ，延时低至 3毫秒 。 能把720p/1080p变成2160p，也能把480p变成1080p。 团队说，这是 当下最强 (State-of-the-Art) 的动画实时超分辨率方法，可以拿任何编程语言实现。 现在，项目已经在GitHub摘下 3700 多颗星，并一度登上了趋势榜。 那么，这个算法究竟是如何造福人类的？ 只搞动画 团队在论文里感慨道： 传统超分辨率 算法 (如Bicubic) ，结果不怎么好，因为它们根本不是为了动画而生的。 传统的去模糊 (Unblurring) 或锐化 (Sharpening) 方式，在靠近物体边缘的时候会发生 过冲 (Overshoot) ，分散观众注意力，降低图像的感知质量 (Perceptual Quality) 。 而机器学习方法 (如waifu2x) 又太慢，完全不能实时 (<30毫秒) ，尤其是需要超高清的时候。 △ waifu2x 而Anime4K， 只处理动画就够了，不考虑其他视频类型 。这一点很重要。 动画没有真实视频那么多纹理 (Textures

（1）回顾一下深度残差网络的结构 　　在下图中，(a)-(c)分别是三种残差模块，(d)是深度残差网络的整体示意图。BN指的是批标准化(Batch Normalization)，ReLU指的是整流线性单元激活函数(Rectifier Linear Unit)，Conv指的是卷积层(Convolutional layer)，Identity shortcut指的是跨层的恒等映射，RBU指的是残差模块(Residual Building Unit)，GAP是全局均值池化(Global Average Pooling)，FC是全连接层(Fully Connected Layer)。 　　C表示特征图的通道数，W表示特征图的宽度，1表示特征图的高度始终为1（这是因为这篇文章以一维的振动信号作为输入）。 　　在Conv后的括号中，K表示卷积层中卷积核的个数。当K=C时，输出特征图的通道数为C。当K=2C时， 输出特征图的通道数为2C。/2表示的是卷积核每次移动的步长为2，从而使得输出特征图的宽度减半。 　　我们可以看到，在图(a)中，输入特征图的尺寸为C×W×1，输出特征图的尺寸也是 C×W×1，也就是说，特征图的尺寸保持不变。在图(b)中，输出特征图的尺寸减小为 C×(0.5W)×1，换言之，宽度减小为原先的一半。在图(c)中， 输出特征图的尺寸变为2 C×(0.5W)×1，即不仅

/*--> */ /*--> */ 　　深度残差收缩网络（ Deep Residual Shrinkage Network ）是深度残差学习（Deep Residual Network, ResNet）的一种改进，发表在 IEEE Transactions on Industrial Informatics 上，面向的是数据包含噪声的情况。 　　简单地讲，深度残差收缩网络就是，将软阈值化作为可训练的模块，嵌入到ResNet之中。接下来结合自己的理解，解读一下相关的背景知识。 /*--> */ /*--> */ （ 1 ）噪声的含义 如上所述，深度残差收缩网络面向的是数据包含噪声的情况。事实上，这里的“噪声”，可以有更宽泛的解释。“噪声”不仅可以指数据获取过程中所掺杂的噪声，而且可以指“与当前任务无关的信息”。 比如说，我们在训练一个猫狗分类器的时候，如果图像中存在老鼠，那么老鼠就可以理解为一种噪声。 /*--> */ /*--> */ 或者说，在故障诊断领域，对于一个复杂的机械系统，可能存在很多个激振源。许多个轴、轴承、齿轮和联轴器等的旋转或啮合都可能会激发振动。这些振动成分都混杂在所采集的振动信号中。如果我们的目的是检测某一零件（比如某一个齿轮）是否发生故障，则其他零件所激发的振动，在一定程度上，都可以理解为噪声。 从这个角度来讲的话，深度残差收缩网络可能有着更宽广的应用场景。

生物统计学-绪论 统计学是利用有效方法（简单和包含最多信息）来计划和分析带有随机影响（ eg1 ：局部数据； eg2 ：残差：不能解释的误差）的数据的方法。其中有效方式是指实验设计和抽样理论。首先必须明确实验设计，它先明确问题（考虑影响和适用方法（ eg ，抽样理论）），再讨论（全面考虑相关因素），最后明确实验设计。这之后才是收集数据。关键在于理解研究的问题（这对应了对统计结果的解释）和应用统计原理（这对应了统计学意义） 来源： https://www.cnblogs.com/yuanjingnan/p/11456276.html

1.背景 （1）为什么残差学习的效果会如此的好？与其他论文相比，深度残差学习具有更深的网络结构 , 此外，残差学习也是网络变深的原因？为什么网络深度如此的重要？ 解：一般认为神经网络的每一层分别对应于提取不同层次的特征信息，有低层，中层和高层，而网络越深的时候，提取到的不同层次的信息会越多，而不同层次间的层次信息的组合也会越多。 （2）为什么在残差之前网络的深度最深的也只是 GoogleNet 的 22 层 , 而残差却可以达到 152 层，甚至 1000 层？ 解：深度学习对于网络深度遇到的主要问题是梯度消失和梯度爆炸，传统对应的解决方案则是数据的初始化(normlized initializatiton)和（batch normlization）正则化，但是这样虽然解决了梯度的问题，深度加深了，却带来了另外的问题，就是网络性能的退化问题，深度加深了，错误率却上升了，而残差用来设计解决退化问题，其同时也解决了梯度问题，更使得网络的性能也提升了。 传统的对应网络层数增加的解决方案如下所示： 图 1 传统解决多层网络训练梯度问题的方法 图 2 残差网络的基本架构 2.深度残差学习 深度残差学习，其中又分为了三个小部分包括残差元，为什么是恒等映射？如果快捷映射不是恒等的情况？ 图 3 残差网络的构思 H(x) is any desired mapping, instead hope

官方文档 scipy . stats . boxcox ( x , lmbda = None , alpha = None ) 返回一个通过Box-Cox次方转换的正的数据集 参数 数据类型 意义 x ndarray 输入数组。1维 lmbda {None, scalar}, optional 如果 lmbda 不是None，对这个值进行转换 如果 lmbda 是None，找到最大化对数似然函数的lambda并将其返回为第二个输出参数 alpha {None, float}, optional 如果 alpha 不是None，返回lmbda的置信区间作为第三个输出参数。必须是0.0~1.0 返回 数据类型 意义 boxcox nndarray Box-Cox次方转换数组 maxlog float, optional 如果 lmbda 参数是None，返回的第二个参数是最大化对数似然函数的lambda (min_ci, max_ci) tuple of float, optional 如果lmbda参数是None并且alpha不是None，这个返回的浮点数元组表示在给定alpha下最小和最大置信限制 boxcox要求输入数据都是正的。转换公式为 y = ( x ∗ ∗ l m b d a − 1 ) / l m b d a &ThickSpace; , &ThickSpace; f

前言 树模型实在是个庞大的家族，里面有许多细节值得注意，怕自己遗忘，写一期总结方便以后查询。先介绍三种划分方式： 信息增益： 计算数据集D中的经验熵H(D)： 计算特征A对数据集D的经验条件H（D/A）: 计算休息增益差： 其中D为样本容量,pi代表当前节点D中i类样本比例。设有K个类（1,2,…,K）,Ck为属于为K类样本的样本数。设特征A有j个不同的取值（a1,…,aj）,根据A的取值将D划分为D1,…,Dj（代表样本数）。 信息增益率： 分裂信息计算公式： 信息增益率定义为： 选择最大增益率作为分裂特征 Gini系数： 在CART树中使用，这里CART先不展开后文会写。 从根节点开始，对节点计算现有特征的基尼指数。 对每一个特征，例如A，再对其每个可能的取值如a,根据样本点对A=a的结果划分为两个部分（这里假设A只有两个值，因为 CART是二叉树 ）： 上面的式子表示的是不确定性的大小，越小表示数据纯度越高。 分类树 ID3: ID3算法的核心是在决策树各个节点上根据 信息增益 来选择进行划分的特征，然后递归地构建决策树。 具体方法： 从根节点开始，对节点计算所有可能的特征的信息增益，选择信息增益值最大的特征作为节点的划分特征； 由该特征的不同取值建立子节点； 再对子节点递归地调用以上方法，构建决策树； 到所有特征的信息增益都很小或者没有特征可以选择为止，得到最终的决策树。