当我们仔细观察由神经网络生成的图像时,我们经常会看到一种奇怪的棋盘图案。在某些情况下,它比其他情况更明显,但最近的大部分模型都表现出这种行为。
当我们要用到深度学习来生成图像的时候,往往是基于一个低分辨率且具有高维的特征图。我们通常使用反卷积操作来完成此操作,但不幸的是,当卷积核大小不能被步长整除的时候,会出现棋盘现象
并且在二维图片上,情况会更加严重:
方法尝试1:现在,神经网络在创建图像时通常使用多层反卷积,从一系列较低分辨率的描述中迭代地构建较大的图像。虽然这些堆叠的去卷积可能会消除伪影,但它们通常会复合,从而在各种尺度上产生伪影。
方法尝试2:在反卷积后面,再接一个步长为1的卷积,效果有限
方法尝试3:调整卷积核的权重,适当加大重叠部分少的权重,虽然理论有效,但在实际操作中,不仅有困难也会减弱模型的表达力
方法尝试4:使得卷积核大小不能被步长整除,但卷积核权重的学习不均匀也会导致伪影现象(下图为步长为2,核大小为4所产生的现象)
正确的方法尝试5:调整图像大小(使用最近邻插值或双线性插值),然后执行卷积操作。这似乎是一种自然的方法,大致相似的方法在图像超分辨率方面表现良好
方法对比实验,效果最好的是方法5
当我们仔细观察由神经网络生成的图像时,我们经常会看到一种奇怪的棋盘图案。在某些情况下,它比其他情况更明显,但最近的大部分模型都表现出这种行为。
来源:CSDN
作者:weixin_44340099
链接:https://blog.csdn.net/weixin_44340099/article/details/104572417