残差网络

3 月，跳不动了？>>> 残差收缩网络是在“残差网络ResNet”基础上的一种改进网络，是由“残差网络”和“ 收缩 ”两部分所组成的。 其中，ResNet在2015年斩获了ImageNet图像识别竞赛的冠军，目前已经成为了深度学习领域的基础网络。 “收缩”是残差收缩网络的核心贡献，指的是“软阈值化” ，它是很多信号降噪算法的关键步骤。在残差收缩网络中，软阈值化所需要的阈值，实质上是借助 注意力机制 设置的。 在本文中，我们首先对残差网络、软阈值化和注意力机制的基础知识进行了简要的回顾，然后对残差收缩网络的动机、算法和应用展开解读。 1.基础回顾 1.1 残差网络 从本质上讲，残差网络（又称深度残差网络、深度残差学习）是一种卷积神经网络。相较于普通的卷积神经网络，残差网络采用了跨层恒等连接，以减轻卷积神经网络的训练难度。残差网络的一种基本模块如图所示。 1.2 软阈值化 软阈值化是许多信号降噪方法的核心步骤 。它的用处是将绝对值低于某个阈值的特征置为零，将其他的特征也朝着零进行调整，也就是“收缩”。在这里，阈值是一个需要预先设置的参数，其取值大小对于降噪的结果有着直接的影响。软阈值化的输入与输出之间的关系如下图所示。 从图2可以看出，软阈值化是一种非线性变换，有着与ReLU激活函数非常相似的性质：梯度要么是0，要么是1。因此，软阈值化也能够作为神经网络的激活函数。事实上

背景 深度学习在各种生物医学图像分割任务重显示出巨大的应用前景。现有的模型一般基于U-Net，它依赖重复叠加的局部算子来聚合远程信息。这样做会限制模型的训练效率和最终效果。这篇文章提出了非局部的U-Nets网络架构，提出了全局聚合块的应用，它能够融合来自任何大小的特征映射的全局信息。通过在三维多模等强度婴儿脑磁共振图像分割任务上进行试验证明这个模型参数少，计算速度快，并且具有更好的分割效果。 介绍 U-Net的缺点 U-Net是由一个下采样编码器和一个上采样解码器以及它们之间的跳过连接组成的。它通过编解码过程来 U-Net主要有两个局限性： 编码器通常叠加卷积和池化操作以逐步减小特征图的大小。这种方式会引入大量参数，降低模型的效率。此外，下采样会不断丢失空间信息，也会影响最终的分割效果。 上采样过程涉及到空间信息的恢复，如果不考虑全局信息很难实现。 创新点 文章中针对U-Net的这些缺点，进行了几点创新。 提出了一个基于自我主义算子的全局聚合块，它能够在没有深入编码器结构的情况下聚合全局的信息。 将这个全局聚合块应用到上采样过程中，也一定程度上解决了上述第二个问题。 Non-local U-Nets 基于U-Net框架的示意图如下： 输入首先经过一个编码输入块，它提取低层特征。接着利用两个下采样块来减少空间尺寸，以此来获得高阶特征。在这之后，底层块聚合全局信息并产生编码器的输出

深度残差网络ResNet获得了2016年IEEE Conference on Computer Vision and Pattern Recognition的最佳论文奖，目前在谷歌学术的引用量已高达38295次。 深度残差收缩网络是深度残差网络的一种的改进版本，其实是深度残差网络、注意力机制和软阈值函数的集成。 在一定程度上， 深度残差收缩网络的工作原理 ，可以理解为： 通过注意力机制注意到不重要的特征，通过软阈值函数将它们置为零；或者说，通过注意力机制注意到重要的特征，将它们保留下来 ，从而加强深度神经网络从含噪声信号中提取有用特征的能力。 1.为什么要提出深度残差收缩网络呢？ 首先，在对样本进行分类的时候，样本中不可避免地会有一些噪声 ，就像高斯噪声、粉色噪声、拉普拉斯噪声等。更广义地讲，样本中很可能包含着与当前分类任务无关的信息，这些信息也可以理解为噪声。这些噪声可能会对分类效果产生不利的影响。（软阈值化是许多信号降噪算法中的一个关键步骤） 举例来说，在马路边聊天的时候，聊天的声音里就可能会混杂车辆的鸣笛声、车轮声等等。当对这些声音信号进行语音识别的时候，识别效果不可避免地会受到鸣笛声、车轮声的影响。从深度学习的角度来讲，这些鸣笛声、车轮声所对应的特征，就应该在深度神经网络内部被删除掉，以避免对语音识别的效果造成影响。 其次，即使是同一个样本集，各个样本的噪声量也往往是不同的

顾名思义，深度残差收缩网络是在“残差网络”基础上的一种改进算法，是由“残差网络”和“收缩”两部分所组成的。其中，残差网络在2016年斩获了ImageNet图像识别竞赛的冠军，目前已经成为了深度学习领域的基础网络；收缩指的是软阈值化，是许多信号降噪算法的关键步骤。在深度残差收缩网络中，软阈值化所需要的阈值，实质上是借助注意力机制设置的。 在本文中，我们首先对残差网络、软阈值化和注意力机制的基础知识进行了简要的回顾，然后对深度残差收缩网络的动机、算法和应用展开解读。 1. 基础回顾 1.1 残差网络 从本质上讲，残差网络（又称深度残差网络、深度残差学习）是一种卷积神经网络。相较于普通的卷积神经网络，残差网络采用了跨层恒等连接，以减轻卷积神经网络的训练难度。残差网络的一种基本模块如图1所示。 1.2 软阈值化 软阈值化是许多信号降噪方法的核心步骤。它的用处是将绝对值低于某个阈值的特征置为零，将其他的特征也朝着零进行调整，也就是“收缩”。在这里，阈值是一个需要预先设置的参数，其取值大小对于降噪的结果有着直接的影响。软阈值化的输入与输出之间的关系如图2所示。 从图2可以看出，软阈值化是一种非线性变换，有着与ReLU激活函数非常相似的性质：梯度要么是0，要么是1。因此，软阈值化也能够作为神经网络的激活函数。事实上，一些神经网络已经将软阈值化作为激活函数进行了使用。 1.3 注意力机制

目标分割RefineNet讲解 0. ABSTRACT 1. INTRODUCTION 2. STRUCTURE 3. RefineNet 3.1. Residual convolution unit (RCU) 3.2. Multi-resolutionfusion 3.3. Chained residual pooling 3.4. Output convolutions Reference 原文： RefineNet 收录：CVPR 2017 (IEEE Conference on Computer Vision and Pattern Recognition) 代码： RefineNet-github 0. ABSTRACT 在深度CNNs中，重复的子采样操作(池化或卷积操作)会导致初始图像分辨率显著下降，为解决信息损失问题，我们提出RefineNet，充分利用下采样过程中可用的所有信息。 (本工作是U-Net的一个变种) 介绍 链式残差池化 （chained residual pooling ），可以高效的获取背景信息。 论文核心思想 ：① 提出的这一种新的网络结构RefineNet，是为了来解决如何有效地利用中间层特性这个问题 ； ② RefineNet使用身份映射的短距离和远距离残差连接，这使得整个系统能够有效地进行端到端训练。 1. INTRODUCTION Q1

本案例参考课程：百度架构师手把手教深度学习的内容。 主要目的为练习Resnet动态图的PaddlePaddle实现。 本案例已经在AISTUDIO共享，链接为： https://aistudio.baidu.com/aistudio/projectdetail/244766 数据集： 查看数据集图片 iChallenge-PM中既有病理性近视患者的眼底图片，也有非病理性近视患者的图片，命名规则如下： 病理性近视（PM）：文件名以P开头 非病理性近视（non-PM）： 高度近似（high myopia）：文件名以H开头 正常眼睛（normal）：文件名以N开头 我们将病理性患者的图片作为正样本，标签为1； 非病理性患者的图片作为负样本，标签为0。从数据集中选取两张图片，通过LeNet提取特征，构建分类器，对正负样本进行分类，并将图片显示出来。 ResNet ResNet是2015年ImageNet比赛的冠军，将识别错误率降低到了3.6%，这个结果甚至超出了正常人眼识别的精度。 通过前面几个经典模型学习，我们可以发现随着深度学习的不断发展，模型的层数越来越多，网络结构也越来越复杂。那么是否加深网络结构，就一定会得到更好的效果呢？从理论上来说，假设新增加的层都是恒等映射，只要原有的层学出跟原模型一样的参数，那么深模型结构就能达到原模型结构的效果。换句话说，原模型的解只是新模型的解的子空间

总的来说这篇论文提出了ResNet架构，让训练非常深的神经网络(NN)成为了可能 。 什么是残差？ “残差在数理统计中是指实际观察值与估计值（拟合值）之间的差。”如果回归模型正确的话， 我们可以将残差看作误差的观测值。”更准确地，假设我们想要找一个 x x，使得 f ( x ) = b f(x)=b，给定一个 x x 的估计值 x 0 x0，残差（residual）就是 b − f ( x 0 ) b−f(x0)，同时，误差就是 x − x 0 x−x0 为什么需要堆叠更深的NN呢？ 论文阐述道 -- 深度神经网络自然的集成了低、中、高阶特征，同时随着网络深度的提升，这些特征也会随之丰富，这些丰富的特征对于最后执行的分类或回归任务来说都是很有意义的，一般认为可以获得更好的结果； 但是，论文又指出一些问题，堆叠深层的NN存在一些问题: -- 堆叠深层的网络后，网络的学习会变得更加的不容易，因为存在着梯度消失/爆炸问题(BN一定程度解决)，会妨碍模型的收敛，使得模型不能得到很好的学习； -- 通过实验发现，堆叠更深的网络存在着退化问题，即随着深度的增加，在分类任务中的正确率会饱和并开始迅速的下降，并且会得到更大的训练损失； 所以可以得到想要优化深层的网络结果并不容易，那么现有解决方法是怎么构造更深层的模型呢？ 作者阐述了一种方法就是：增添的网络层都是恒等映射网络

图像分类 本教程源代码目录在 book/image_classification ， 初次使用请参考 PaddlePaddle 安装教程 ，更多内容请参考本教程的 视频课堂 。 背景介绍 图像相比文字能够提供更加生动、容易理解及更具艺术感的信息，是人们转递与交换信息的重要来源。在本教程中，我们专注于图像识别领域的一个重要问题，即 图像分类 。 图像分类是根据图像的语义信息将不同类别图像区分开来，是计算机视觉中重要的基本问题，也是图像检测、图像分割、物体跟踪、行为分析等其他高层视觉任务的基础。 图像分类在很多领域有广泛应用，包括安防领域的人脸识别和智能视频分析等，交通领域的交通场景识别，互联网领域基于内容的图像检索和相册自动归类，医学领域的图像识别等。 一般来说，图像分类通过手工特征或特征学习方法对整个图像进行全部描述，然后使用分类器判别物体类别，因此如何提取图像的特征至关重要。 在深度学习算法之前使用较多的是基于词袋(Bag of Words)模型的物体分类方法。 词袋方法从自然语言处理中引入，即一句话可以用一个装了词的袋子表示其特征，袋子中的词为句子中的单词、短语或字。对于图像而言，词袋方法需要构建字典。最简单的词袋模型框架可以设计为 底层特征抽取 、 特征编码 、 分类器设计 三个过程。 Now: 而基于深度学习的图像分类方法，可以通过有监督或无监督的方式 学习

深度残差收缩网络事实上属于一种卷积神经网络，是深度残差网络（deep residual network, ResNet）的一个变种。它的主要思想是，在深度学习进行特征学习的时候，删除冗余信息是非常重要的；这是因为原始数据中往往存在着很多和当前任务无关的信息；软阈值化则是一种非常灵活的、删除冗余信息的方式。 1.深度残差网络 首先，从深度残差网络开始讲起。下图展示了深度残差网络的基本模块，包括一些非线性层（残差路径）和一个跨层的恒等连接。恒等连接是深度残差网络的核心，是其优异性能的一个保障。 2.深度残差收缩网络 深度残差收缩网络，就是对深度残差网络的残差路径进行收缩的一种网络。这里的“收缩”指的就是软阈值化。 软阈值化是许多信号降噪方法的核心步骤，它是将接近于零（或者说绝对值低于某一阈值τ）的特征置为0，也就是将[-τ, τ]区间内的特征置为0，让其他的、距0较远的特征也朝着0进行收缩。 如果和前一个卷积层的偏置b放在一起看的话，这个置为零的区间就变成了[-τ+b, τ+b]。因为τ和b都是可以自动学习得到的参数，这个角度看的话，软阈值化其实是可以将任意区间的特征置为零，是一种更灵活的、删除某个取值范围特征的方式，也可以理解成一种更灵活的非线性映射。 从另一个方面来看，前面的两个卷积层、两个批标准化和两个激活函数，将冗余信息的特征，变换成接近于零的值；将有用的特征，变换成远离零的值

FishNet: 用于图像、区域和像素级的多功能主干网络 摘要 对于预测不同层级的目标对象（如图像级、区域级和像素级），设计卷积神经网络（ CNN ）结构的基本原则具有多样性。一般来讲，专门为图像分类任务所设计的网络结构，会默认作为其他任务（包括检查和分割）的主干网络结构。但是，多数网络的主干设计并没有考虑统一网络的优势，而为像素级或区域级的预测任务设计主干网络，原因可能是需要更高分辨率的深层特征。为了实现这一目标，本文设计了一个类似鱼形的主干网络，我们称为 FishNet 。在 FishNet 中，所有的解决方案信息都会被保留，并在最后的任务进行精炼。除此之外，我们观察到，现存的工作并不能直接将梯度信息从深层网络传递给浅层网络，而本文的设计可以更好地处理该问题。为了验证 FishNet 的性能表现，我们进行了大量实验。特别地，在 ImageNet-1k 数据集上，在参数较少的情况下， FishNet 的性能可以完全超过 DenseNet 和 ResNet 。 FishNet 已经被应用在赢得 2018 年 COCO 检测挑战赛的一个模块中。代码被公开在： https://github.com/kevin-ssy/FishNet 。 1 简介 在计算机视觉领域中，卷积神经网络（ CNN ， Convolutional Neural Network