反卷积与棋盘效应(Checkerboard Artifacts)

蹲街弑〆低调 提交于 2020-03-01 10:58:31

    当我们仔细观察由神经网络生成的图像时,我们经常会看到一种奇怪的棋盘图案。在某些情况下,它比其他情况更明显,但最近的大部分模型都表现出这种行为。

    当我们要用到深度学习来生成图像的时候,往往是基于一个低分辨率且具有高维的特征图。我们通常使用反卷积操作来完成此操作,但不幸的是,当卷积核大小不能被步长整除的时候,会出现棋盘现象

    并且在二维图片上,情况会更加严重:

 

    方法尝试1:现在,神经网络在创建图像时通常使用多层反卷积,从一系列较低分辨率的描述中迭代地构建较大的图像。虽然这些堆叠的去卷积可能会消除伪影,但它们通常会复合,从而在各种尺度上产生伪影。

   

    方法尝试2:在反卷积后面,再接一个步长为1的卷积,效果有限

 

    方法尝试3:调整卷积核的权重,适当加大重叠部分少的权重,虽然理论有效,但在实际操作中,不仅有困难也会减弱模型的表达力

 

    方法尝试4:使得卷积核大小不能被步长整除,但卷积核权重的学习不均匀也会导致伪影现象(下图为步长为2,核大小为4所产生的现象)

 

    正确的方法尝试5:调整图像大小(使用最近邻插值双线性插值),然后执行卷积操作。这似乎是一种自然的方法,大致相似的方法在图像超分辨率方面表现良好

   

    方法对比实验,效果最好的是方法5

 

    参考资料:https://distill.pub/2016/deconv-checkerboard/

    当我们仔细观察由神经网络生成的图像时,我们经常会看到一种奇怪的棋盘图案。在某些情况下,它比其他情况更明显,但最近的大部分模型都表现出这种行为。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!