本文认为已有的SR方法存在着三个主要的问题:
①采用预定义的上采样操作(例如双三次插值)会产生不必要的计算代价,并且结果可能会有重建伪影。而使用反卷积层这样的操作来替换预定义的上采样操作,网络结构又比较简单,性能较差,不能很好地学习复杂的映射;
②使用l2型损失函数时,不可避免地会产生模糊的预测,恢复出的高分辨图片往往会过于平滑;
③大部分的方法都只有一次上采样的步骤,这就会使得对于更高倍数因子的训练变得困难。
为了解决上述问题,本文提出了LapSRN,网络以LR图片作为输入,以低分辨到高分辨的方式来预测子带残差。在网络的每一层,一系列的卷积层被用来提取特征映射。此后,一个反卷积层用来将特征映射上采样,然后传递到最后一层。最后用一个卷积层来预测子带残差(sub-band residual,指各层上采样的结果与ground-truth的差别)。网络结构如图所示:
在训练时,采用的是l1型的损失函数Charbonnier,并且在每一级网络进行一次计算,最终将每一级的损失函数和进行优化。
与之前讲过的VDSR类似的,LapSRN也采用了很深的网络结构,且也采用了残差学习的方式,但是从结构上来看,很明显LapSRN采用的多级结构在每一级都进行反卷积和残差学习,而VDSR是经过插值上采样后进行残差学习。而与同样采用了反卷积层进行上采样的FSRCNN相比,LapSRN在每一层都采用一个反卷积层,不仅能够达到放大图像的作用,还能够获取中间倍数的放大结果(例如需求输出8x的图像,可以获得4x和2x的图像)。
总的来说,由于在LapSRN中逐步进行上采样并逐级预测残差,在训练获取更大倍数因子的图像过程中能够获取中间的上采样图像。另外,由于图像的大小是逐级进行放大的,因此运行速度也提高了。通过监测每一级的输出,LapSRN的表现也超过了其他大部分的SR方法。