上采样

背景 深度学习在各种生物医学图像分割任务重显示出巨大的应用前景。现有的模型一般基于U-Net，它依赖重复叠加的局部算子来聚合远程信息。这样做会限制模型的训练效率和最终效果。这篇文章提出了非局部的U-Nets网络架构，提出了全局聚合块的应用，它能够融合来自任何大小的特征映射的全局信息。通过在三维多模等强度婴儿脑磁共振图像分割任务上进行试验证明这个模型参数少，计算速度快，并且具有更好的分割效果。 介绍 U-Net的缺点 U-Net是由一个下采样编码器和一个上采样解码器以及它们之间的跳过连接组成的。它通过编解码过程来 U-Net主要有两个局限性： 编码器通常叠加卷积和池化操作以逐步减小特征图的大小。这种方式会引入大量参数，降低模型的效率。此外，下采样会不断丢失空间信息，也会影响最终的分割效果。 上采样过程涉及到空间信息的恢复，如果不考虑全局信息很难实现。 创新点 文章中针对U-Net的这些缺点，进行了几点创新。 提出了一个基于自我主义算子的全局聚合块，它能够在没有深入编码器结构的情况下聚合全局的信息。 将这个全局聚合块应用到上采样过程中，也一定程度上解决了上述第二个问题。 Non-local U-Nets 基于U-Net框架的示意图如下： 输入首先经过一个编码输入块，它提取低层特征。接着利用两个下采样块来减少空间尺寸，以此来获得高阶特征。在这之后，底层块聚合全局信息并产生编码器的输出

目标分割FCN 0、 ABSTRACT 1、 INTRODUCTION 2、 稠密预测调整分类器 3、 去卷积--上采样 4、 跳跃结构 Reference 原文： Fully Convolutional Networks for Semantic Segmentation 收录：CVPR 2015 (The IEEE Conference on Computer Vision and Pattern Recognition) 代码： FCN code 年份 模型 重要贡献 2014 FCN 在语义分割中推广使用端对端卷积神经网络，使用反卷积来进行上采样 2015 U-Net 构建了一套完整 的编码解码器 2015 SegNet 将最大池化转换为解码器来提高分辨率 2015 Dilated Convolutions 更广范围内提高了内容的聚合并不降低分辨率 2016 DeepLab v1&v2 2016 RefineNet 使用残差连接，降低了内存使用量，提高了模块间的特征融合 2016 PSPNet 2017 DeepLab V3 ※中心思想 ：全卷积神经网络FCN主要使用以下三种技术： 卷积化（Convolutional） 上采样（Upsample） 跳跃结构（Skip Layer） 0、 ABSTRACT 论文核心思想 ：构建 全卷积网络 ，该网络 接收任意大小的输入

上采样、下采样 缩小图像（或称为下采样（subsampled）或降采样（downsampled）） 主要目的有两个： 1、使得图像符合显示区域的大小； 2、生成对应图像的缩略图。 放大图像（或称为上采样（upsampling）或图像插值（interpolating）） 主要目的是： 放大原图像,从而可以显示在更高分辨率的显示设备上。对图像的缩放操作并不能带来更多关于该图像的信息, 因此图像的质量将不可避免地受到影响。然而，确实有一些缩放方法能够增加图像的信息，从而使得缩放后的图像质量超过原图质量的。 原理 下采样原理：对于一幅图像I尺寸为M N，对其进行s倍下采样，即得到(M/s) (N/s)尺寸的得分辨率图像，当然s应该是M和N的公约数才行，如果考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值： 上采样原理：图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。如最近邻插值，双线性插值，均值插值，中值插值等方法。各种插值方法都有各自的优缺点。 无论缩小图像（下采样）还是放大图像（上采样），采样方式有很多种。 池化 池化（Pooling）是卷积神经网络中一个重要的概念，它实际上是一种形式的降采样。它会压缩输入的特征图，一方面减少了特征，导致了参数减少

FishNet: 用于图像、区域和像素级的多功能主干网络 摘要 对于预测不同层级的目标对象（如图像级、区域级和像素级），设计卷积神经网络（ CNN ）结构的基本原则具有多样性。一般来讲，专门为图像分类任务所设计的网络结构，会默认作为其他任务（包括检查和分割）的主干网络结构。但是，多数网络的主干设计并没有考虑统一网络的优势，而为像素级或区域级的预测任务设计主干网络，原因可能是需要更高分辨率的深层特征。为了实现这一目标，本文设计了一个类似鱼形的主干网络，我们称为 FishNet 。在 FishNet 中，所有的解决方案信息都会被保留，并在最后的任务进行精炼。除此之外，我们观察到，现存的工作并不能直接将梯度信息从深层网络传递给浅层网络，而本文的设计可以更好地处理该问题。为了验证 FishNet 的性能表现，我们进行了大量实验。特别地，在 ImageNet-1k 数据集上，在参数较少的情况下， FishNet 的性能可以完全超过 DenseNet 和 ResNet 。 FishNet 已经被应用在赢得 2018 年 COCO 检测挑战赛的一个模块中。代码被公开在： https://github.com/kevin-ssy/FishNet 。 1 简介 在计算机视觉领域中，卷积神经网络（ CNN ， Convolutional Neural Network

原始内容来源于： https://blog.csdn.net/cdknight_happy/article/details/100528127 https://blog.csdn.net/WZZ18191171661/article/details/79494534 包含理解！ 参考文献：https://arxiv.org/abs/1612.03144 代码实现：http://www.yueye.org/2018/faster-rcnn-coupled-with-fpn-in-tensorflow.html https://github.com/DetectionTeamUCAS/FPN_Tensorflow FPN：Feature Pyramid Networks for Object Detection 摘要 特征金字塔是目标识别系统能够进行 多尺度目标识别 的关键组件。但由于特征金字塔的内存占用和计算量很大，因此很多算法都不想使用它。 本文利用深度卷积网络本身固有的多尺度、层次化构建特征金字塔，只带来了很少的额外成本。本文开发了具有横向结构的从上到下的连接，用于在所有尺度上构建高层语义特征 。本文提出的网络叫做 FPN ，在很多应用中可以作为一个 通用的特征提取器 。将FPN和Faster R-CNN结合，我们的模型在不使用任何技巧的情况下

特征图金字塔网络FPN （Feature Pyramid Networks）是2017年提出的一种网络，FPN主要解决的是物体检测中的多尺度问题，通过简单的网络连接改变，在基本不增加原有模型计算量的情况下，大幅度提升了小物体检测的性能。 低层的特征语义信息比较少，但是目标位置准确；高层的特征语义信息比较丰富，但是目标位置比较粗略。另外虽然也有些算法采用多尺度特征融合的方式，但是一般是采用融合后的特征做预测，而本文FPN不一样的地方在于预测是在不同特征层独立进行的。 一、各种网络结构对比 1、通常的CNN网络结构如下图所示 上图网络是自底向上卷积，然后使用最后一层特征图进行预测，像SPP-Net，Fast R-CNN，Faster R-CNN就是采用这种方式，即仅采用网络最后一层的特征。 以VGG16为例子，假如feat_stride=16，表示若原图大小是1000 600，经过网络后最深一层的特征图大小是60 40，可理解为特征图上一像素点映射原图中一个16 16的区域；那原图中有一个小于16 16大小的小物体，是不是就会被忽略掉，检测不到了呢？ 所以上图中的网络的缺点就是会造成 检测小物体的性能急剧下降。 2、图片金字塔生成特征金字塔 鉴于上面的单层检测会丢失细节特征；就会想到利用图像的各个尺度进行训练和测试，比如下图所展示，将图像做成不同的scale

SRResNet SRResNet 网络来源于SRGAN，原论文（ https://arxiv.org/abs/1609.04802 ）提到一种扩展方式，允许修复更高频的细节。 SRResNet 的残差块架构基于这篇文章（ http://torch.ch/blog/2016/02/04/resnets.html ）。存在两个小的更改：一个是 SRResNet 使用 Parametric ReLU 而不是 ReLU，ReLU 引入一个可学习参数帮助它适应性地学习部分负系数；另一个区别是 SRResNet 使用了图像上采样方法，SRResNet 使用了子像素卷积层。详见： https://arxiv.org/abs/1609.07009 。 SRGAN网络结构如图1所示。 图1 在生成网络部分(SRResNet)部分包含多个残差块，每个残差块中包含两个3×3的卷积层，卷积层后接批规范化层(batch normalization, BN)和PReLU作为激活函数，两个2×亚像素卷积层(sub-pixel convolution layers)被用来增大特征尺寸。在判别网络部分包含8个卷积层，随着网络层数加深，特征个数不断增加，特征尺寸不断减小，选取激活函数为LeakyReLU，最终通过两个全连接层和最终的sigmoid激活函数得到预测为自然图像的概率。 这篇论文（ https:/

文章目录 1. FCN全卷积网络-2014 2. 编解码结构SegNet-2015 3. U-Net分割网络-2015 4. DeepLab v1,v2,v3 -2015,2017,2018 5. 实时分割网络ENet-2016 6. CRFasRNN-空了看看 7. PSPNet-2017 8.Parsenet 9. UNet++ 2018 10. Deepmask 实例分割 2015 11. RefineNet 多分辨率特征融合 -2016 12. LinkNet: Exploiting Encoder Representations for Efficient Semantic Segmentation 主要图像分割任务的区别： 语义分割：把一定数目不同的类别的图像分割出来，不需要分开多个相同的个体； 实例分割：区分一定数目相同类别的不同个体； 全景分割：区分未知数目相同类别的不同个体。 1. FCN全卷积网络-2014 参考： FCN 特点 ： 输入：整幅图像。输出：空间尺寸与输入图像相同，通道数等于全部类别个数。真值：通道数为1（或2）的分割图像。 池化层P5上采样（反卷积）+P4上采样+P3上采样作为最终的预测具有最好的效果。即把后阶段的特征加到前面的特征图，再更大的尺寸进行预测。（一般分类是下采样到最好层进行加操作，但是这里是上采样

【教程】史上最详细的调试工具SingalTap使用教程 本文为明德扬原创文章，转载请注明出处！   明德扬设计的工程经常使用到Quartus Ⅱ软件，其中常用的调试工具就是SignalTap。当代码经过仿真没有问题，但加载到FPGA电路板后，发现功能不正确时，我们就可以用signalTap工具进行分析，它的作用就类似于一个数字逻辑分析仪。今天就给大家分享SignalTap的使用教程。 一、打开SignalTap工具   打开Quartus后，在菜单栏中，选择“Tools”->”SignalTal II Logic Analyzer”，就可以打开SignalTap工具。如下图： 二，使用SignalTap调试设置步骤   界面示意图如下所示，其中有对应的标号，其解释如下：   ◆ 1—4为基本的软硬件配置：   1为下载线选择；   2为硬件检测（识别相关的FPGA设备）；   3工程配置文件选择（sof文件）；   4加载sof文件（1-3均完成后即可加载文件）。   ◆ 5为采样时钟设置：选择采样时钟，采样时钟要根据具体需要进行设置, 可以为模块的工作时钟，也可以为内部信号；   ◆ 6为采样深度设置：采样深度并非越大越好，要根据分析需求进行合理设置；   ◆ 7为触发位置选择：包括前段触发、中间触发、后端触发三种方式，以触发点为参考，触发位置不同，我们能得到不同时间段的信号值。

上采样方法总结 卷积、反卷积、空洞卷积动画理解 unpooling 插值：线性插值、双线性插值、临近插值 反卷积（转置卷积）：对 原始特征图 周边padding或者元素之间padding然后在进行卷积。目的是为了上采样。 空洞卷积：对 卷积核 padding在进行卷积。目的是为了不使用pooling的同时增大感受野。 来源： CSDN 作者： sunlanchang 链接： https://blog.csdn.net/sunlanchang/article/details/103473939