Transposed Convolution, Fractionally Strided Convolution or Deconvolution
转载自:https://buptldy.github.io/2016/10/29/2016-10-29-deconv/
最近才知道反卷积就是转置卷积,查了查资料,觉得这篇博客写的很不错。
反卷积(Deconvolution)的概念第一次出现是Zeiler在2010年发表的论文Deconvolutional networks中,但是并没有指定反卷积这个名字,反卷积这个术语正式的使用是在其之后的工作中(Adaptive deconvolutional networks for mid and high level feature learning)。随着反卷积在神经网络可视化上的成功应用,其被越来越多的工作所采纳比如:场景分割、生成模型等。其中反卷积(Deconvolution)也有很多其他的叫法,比如:Transposed Convolution,Fractional Strided Convolution等等。
这篇文章的目的主要有两方面:
1. 解释卷积层和反卷积层之间的关系;
2. 弄清楚反卷积层输入特征大小和输出特征大小之间的关系。
卷积层大家应该都很熟悉了,为了方便说明,定义如下:
- 二维的离散卷积()
- 方形的特征输入()
- 方形的卷积核尺寸()
- 每个维度相同的步长()
- 每个维度相同的padding ()
下图表示参数为 的卷积计算过程,从计算结果可以看出输出特征的尺寸为 。
下图表示参数为 的卷积计算过程,从计算结果可以看出输出特征的尺寸为 。
从上述两个例子我们可以总结出卷积层输入特征与输出特征尺寸和卷积核参数的关系为:
其中 表示对 向下取整。
反卷积层
在介绍反卷积之前,我们先来看看卷积运算和矩阵运算之间的关系。
卷积和矩阵相乘
考虑如下一个简单的卷积层运算,其参数为 ,输出 。
对于上述卷积运算,我们把上图所示的3×3卷积核展成一个如下所示的[4,16]的稀疏矩阵 , 其中非0元素 表示卷积核的第 行和第 列。