反卷积

论文地址： DSSD : Deconvolutional Single Shot Detector 项目地址： Github 概述 这篇论文应该算是 SSD: Single Shot MultiBox Detector 的第一个改进分支，作者是 Cheng-Yang Fu ， 我们熟知的 Wei Liu 大神在这里面是第二作者，说明是一个团队的成果，论文很新，暂未发布源代码。博主对该文章重要部分做了翻译理解工作，不一定完全对，欢迎讨论。 在SSD的研究基础上，本文的主要贡献可分为两点： 首先，把SSD的基准网络从VGG换成了Resnet-101，增强了特征提取能力；然后使用反卷积层（deconvolution layer ）增加了大量上下文信息 。最终提升了目标检测精度，尤其是小物体的检测精度。DSSD以513 * 513的图片输入，在VOC2007上的mAP是81.5%，而SSD为80.6%，在COCO数据集上mAP也达到了33.2%，贴一张成绩对比图。 简介 本文的主要贡献前面已述，这里作者强调论文思想实施起来并不太容易，重点是反卷积中前馈连接的模块和新输出的模块，作者的深入研究使得这一方法具有了很大的潜力。 文章简要回顾了目标检测的发展历程，提到在基于现有深度学习方法的基础上，还要提升检测精度的话，其中两个途径就是 更好的特征提取网络 和 增加上下文信息

点击打开链接 反卷积（Deconvolution）的概念第一次出现是Zeiler在2010年发表的论文 Deconvolutional networks 中，但是并没有指定反卷积这个名字，反卷积这个术语正式的使用是在其之后的工作中( Adaptive deconvolutional networks for mid and high level feature learning )。随着反卷积在神经网络可视化上的成功应用，其被越来越多的工作所采纳比如：场景分割、生成模型等。其中反卷积（Deconvolution）也有很多其他的叫法，比如：Transposed Convolution，Fractional Strided Convolution等等。 这篇文章的目的主要有两方面： 1. 解释卷积层和反卷积层之间的关系； 2. 弄清楚反卷积层输入特征大小和输出特征大小之间的关系。 ## 卷积层 卷积层大家应该都很熟悉了,为了方便说明，定义如下： - 二维的离散卷积（ N = 2 N=2 ） - 方形的特征输入（ i 1 = i 2 = i i1=i2=i ） - 方形的卷积核尺寸（ k 1 = k 2 = k k1=k2=k ） - 每个维度相同的步长（ s 1 = s 2 = s s1=s2=s ） - 每个维度相同的padding ( p 1 = p 2 = p p1=p2=p )

Abstract 上一篇博文[1]简单介绍了对抗网络的理论和大概流程。其中所谓的对抗网络可以归结为unsupervised learning 或者 generative model。从无监督学习来进行feature representation,有k-means聚类算法，auto-encoders[2]，以及09年的Deep belief networks等等。从生成模型的角度来说，我们需要让算法能学习到数据的分布情况，而这个分布从Bayes观点来说，可以认为是class-conditional probability。然而对于复杂的数据，例如高分辨率的图像，学习到它的像素的分布情况是个极其困难的问题。所以，对于生成natural images，之前的算法一直没有取得好的效果。最近的一些算法就基本解决了这个问题，比如variational autoencoder[3],简称VAE.以及我们介绍过的adversarial networks[4]。Good fellow 14年提出的对抗网络，应该没有想到它现在会这么火爆。 对抗网络可以认为是一个生成模型和一个判别模型组成的。一般情况下，生成模型和判别模型都是使用的神经网络的算法，比如感知器，或者卷积神经网络。对于对抗网络，经过所谓的对抗过程的训练之后，Generative networks可以生成realistic image

DCGAN原理介绍 我们知道深度学习中对图像处理应用最好的模型是CNN，那么如何把CNN与GAN结合？DCGAN是这方面最好的尝试之一（论文地址：[1511.06434] Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks） 卷积神经网络在有监督学习中的各项任务上都有很好的表现，但在无监督学习领域，却比较少。本文介绍的算法将有监督学习中的CNN和无监督学习中的GAN结合到了一起。 DCGAN的原理和 GAN 是一样的，这里就不在赘述（GAN网络提出了理论，具体的G,D实现可以我们自己来定）。DCGAN把上述的G和D换成了两个卷积神经网络 。Ｄ可以理解为一个分类的卷积网络。Ｇ则是一个全卷积网络。但不是直接换就可以了，DCGAN对卷积神经网络的结构做了一些改变，以提高样本的质量和收敛的速度，这些改变有： G网络中使用转置卷积（transposed convolutional layer）进行上采样，D网络中用 strided convolutions来替代空间池化（pooling） 。 除了生成器模型的输出层和判别器模型的输入层，在网络其它层上都使用了Batch Normalization，使用BN可以稳定学习，有助于处理初始化不良导致的训练问题。

论文标题：Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks 论文链接： https://arxiv.org/abs/1511.06434 参考资料： http://blog.csdn.net/liuxiao214/article/details/73500737       http://blog.csdn.net/solomon1558/article/details/52573596       https://buptldy.github.io/2016/10/29/2016-10-29-deconv/ DCGAN的框架 在以往的尝试中，将CNN应用于GAN，都没有获得成功。但是经过一系列探索，我们找到一类结构，可以在分辨率更高、更深的生成模型上稳定地训练。 Historical attempts to scale up GANs using CNNs to model images have been unsuccessful. However, after extensive model exploration we identified a family of architectures that resulted in stable

转自 https://blog.csdn.net/isMarvellous/article/details/80087705 什么是转置卷积（反卷积）？ 转置卷积（Transposed Convolution）又称为反卷积（Deconvolution）。在PyTorch中可以使用torch.nn.ConvTranspose2d()来调用，在Caffe中也有对应的层deconv_layer。 转置卷积常常用于CNN中对特征图进行上采样，比如语义分割和超分辨率任务中。之所以叫转置卷积是因为，它其实是把我们平时所用普通卷积操作中的卷积核做一个转置，然后把普通卷积的输出作为转置卷积的输入，而转置卷积的输出，就是普通卷积的输入。这样说可能有点绕，我们可以参照CNN中的反向传播过程来理解，转置卷积形式上就和一个卷积层的反向梯度计算相同。既然是输入输出对调，那么就有两个很重要的特性： 转置的卷积核变为了普通卷积核的转置； 如果把由输入特征图到输出特征图的计算过程画成一个计算图，那么输入输出元素的连接关系是不变的 关于第二点，也就是说，在普通卷积中，若元素a和元素1有连接（元素1由a计算得到），那么在相应的转置卷积中，元素1和元素a依然是有连接的（元素a由元素1计算得到）。 下面就基于此讨论一下我对转置卷积计算过程的一个理解。这并不是一个严格的推导，只是为了形象地帮助理解为什么要这样计算

Transposed Convolution, Fractionally Strided Convolution or Deconvolution 转载自： https://buptldy.github.io/2016/10/29/2016-10-29-deconv/ 最近才知道反卷积就是转置卷积，查了查资料，觉得这篇博客写的很不错。 反卷积（Deconvolution）的概念第一次出现是Zeiler在2010年发表的论文Deconvolutional networks中，但是并没有指定反卷积这个名字，反卷积这个术语正式的使用是在其之后的工作中(Adaptive deconvolutional networks for mid and high level feature learning)。随着反卷积在神经网络可视化上的成功应用，其被越来越多的工作所采纳比如：场景分割、生成模型等。其中反卷积（Deconvolution）也有很多其他的叫法，比如：Transposed Convolution，Fractional Strided Convolution等等。 这篇文章的目的主要有两方面： 1. 解释卷积层和反卷积层之间的关系； 2. 弄清楚反卷积层输入特征大小和输出特征大小之间的关系。 卷积层大家应该都很熟悉了,为了方便说明，定义如下： - 二维的离散卷积（ N = 2 N = 2

文章目录 Abstract Introduction Realted Work Instance Segmentation Mask RCNN Faster RCNN 回顾 Mask RCNN Loss计算 Mask Representation RoIAlign Network Architecture Implementation Details Training Related knowledge FCN Deconvolution Upsampling 线性插值 参考文章 思考 Abstract 在Faster RCNN的基础上又加了一个预测物体掩码的分支，和预测边界框并列存在。 Introduction 目标 : 将每个像素分类为一组固定的类别，而不区分对象实例。 方法简介 ： 在Faster RCNN每个ROI后面加了一个分支来预测分割掩码，和分类与回归并列。这个加入的新分支是一个小型FCN(Fully Convolutional Network)，用一种像素到像素的处理方式。 前人不足之处 ： Faster RCNN不是为网络输入和输出之间的像素对像素对齐而设计的， 为了克服不对齐的问题 ，作者提出了RoIAlign，能成功保存精确的空间位置。 RoIAlign的优点 ： 提高了 10 % − 50 % 10\%-50\% 1 0 % − 5 0 % 的掩码精准度

ZFNet 时间： 2013年 出处： Matthew D.Zeiler 和 Rob Fergus （纽约大学）2013年撰写的论文： Visualizing and Understanding Convolutional Networks 目的： AlexNet的提出使得大型卷积网络开始变得流行起来，但是人们对于CNN网络究竟为什么能表现这么好，以及怎么样能变得更好尚不清楚，因此为了针对上述两个问题，提出了一个新颖的可视化技术，“理解”中间的特征层和最后的分类器层，并且找到改进神经网络的结构的方法 做法： 使用反卷积（Deconvnet），可视化特征图（feature map） 通过Deconvnet技术，可视化Alex-net，并指出了Alex-net的一些不足，最后修改网络结构，使得分类结果提升 与AlexNet相比，前面的层使用了更小的卷积核和更小的步长，保留了更多特征 成就： ZFNet是2013年ILSVRC的冠军 贡献： CNN领域可视化理解的开山之作，作者通过可视化解释了为什么CNN有非常好的性能、如何提高CNN性能，然后进行调整网络，提高了精度 论文主要贡献如下： 特征可视化 使用反卷积，可视化feature map 通过feature map可以看出，特征分层次体系结构 前面的层学习的是物理轮廓、边缘、颜色、纹理等特征，后面的层学习的是和类别相关的抽象特征

目录 1.5.2 ZFNet 5.7 反卷积（Deconvnet） 5.7.1 上采样池化（UnPooling） 5.7.2 反卷积过程 5.8 ZFNet 架构设计 5.9 ZFNet 的贡献 1.5.2 ZFNet 在前文中，我们对 AlexNet 的架构以及核心组件做了相关介绍，虽然 AlexNet 赢得了 ILSVRC2012 的冠军，相比传统技术取得辉煌的成就，然而技术绝不止步于此，AlexNet 为什么性能如此优越，它还能如何改进呢？带着这样的问题，在 ILSVRC2013 中，ZFNet 1 利用反卷积可视化技术探讨上述问题，并对 AlexNet 网络加以改进，改进后的 ZFNet 性能已明显超越 AlexNet。 ZFNet 由 Matthew D. Zeiler 和他的博导 Rob Fergus 提出，网络命名来自于他们的名字首字母组合。ZFNet 实际上并不是这一届的冠军，而是由一个创业公司 Clarifai 获得，而 Zeiler 是该公司的 CEO，而我们通常讨论 ILSVRC2013 的获胜者，一般也指的是 ZFNet。 5.7 反卷积（Deconvnet） 在深度学习中提到的反卷积通常是指转置卷积（transposed convolution），卷积操作的一般步骤通常是将输入层的图像经过某个卷积核实现卷积操作，将其映射到输出空间中