残差

　　本文介绍了一种用多卷积层深度神经网络对图像进行超分辨的方法，也是与SRCNN进行了比较。 　　本文认为SRCNN主要有三点限制： 　　①SRCNN依赖的是图像中临近的小范围区域，因此对于图像中细节的恢复质量不够好； 　　②与前一篇FSRCNN中提到的相同，SRCNN训练的收敛速度很慢； 　　③SRCNN只能够实现对单一倍数的图像进行超分辨操作。 　　而针对这些限制，本文提出了VD(Very Deep)SR方法使得超分辨质量更高，收敛速度更快，并且可以用于多倍数图像的超分辨。 　　VDSR的网络层数有20层，与想象中不同的是，如此深的网络结构并没有使得计算的时间变得很高，反而因为使用的自适应梯度裁剪方法变得更加高效。VDSR的网络结构如图所示： 　　其中所应用到的原理是：高分辨的图像能够被分解为低频的信息和高频的信息。其中低频信息对应的是低分辨的图像，而高频信息对应的则是残差图像或是图像细节。基于这个原理，网络对输入图像的残差进行学习，将学习到的残差信息再与输入图像结合，就得到了最终的高分辨图像。 　　在整个网络中，有四个主要的特点需要注意： 1、这个深度的神经网络具有很大的感受野(receptive field)，在本文中为（2D+1）*(2D+1)，因此图像中的更多细节能够被采出用于建构超分辨图像； 2、残差学习(residual learning)以及自适应梯度裁剪

1、经典网络： （1）LeNet-5：识别手写数字 （2）AlexNet： （3）VGG-16： 2、Residual networks（ResNets 残差网络）： （1）Residual block（残差块）： 多个残差块构成一个残差网络： （2）残差网络的优势： 理论上，随着神经网络的深入，训练误差会越来越小，但实际上，层数越多训练的难度越大，因此层数过多误差也会增大. 但残差网络适用于深层的神经网络，误差随着层数的增多而减小. （3）为什么残差网络性能更好？ 3、网络中的网络和1*1卷积： （1）作用： 对于二维效果不佳，仅仅是矩阵乘数字： 对于三维，实现了多个通道乘积再求和的功能： （2）应用：压缩 n C 使用32个1*1卷积，将192通道压缩为32通道. 4、Inception网络： （1）作用：决定过滤器的大小. （2）Inception块： 将各个可能使用的过滤器合并，让系统自行学习并选择合适的过滤器. 以28*28*32块为例，说明 computational cost 问题： 乘法计算次数：28*28*32*5*5*192 ≈ 120 Million 而使用了1*1卷积压缩后：中间的层成为“bottleneck layer”，即瓶颈层. 乘法计算次数：2*28*16*192 + 28*28*32*5*5*16 ≈ 2.4 Million + 10.0

ժҪ 论文名称：MobileNetV2: Inverted Residuals and Linear Bottlenecks ժҪ 最后，我们的方法从转换开始就允许输入输出域的解耦，其能对未来的分析提供一个便利的框架。我们在ImageNet分类数据集（Imagenet large scale visual recognition challenge.）、COCO目标检测数据集（Microsoft COCO: Common objects in context）、VOC图像分割数据集（The pascal visual object classes challenge a retrospective.）上进行实验。我们测试了准确率、由乘加操作定义的计算量以及实际延迟和阐述数量之间的权衡关系。 我们的主要贡献在于设计一种新型的层模块：具有线性瓶颈的反向残差(the inverted residual with linear bottleneck)。该模块以低维压缩表示作为输入，首先将其扩展到高维，然后用一个轻量级深度卷积来进行滤波。特征随后投影为一个低维表示与一个线性的卷积，官方实现可作为Tensorflow-Slim模型库的一部分来使用（ https://github.com/tensorflow/ models/tree/master/research/slim/ nets

原博客地址： https://blog.csdn.net/u011630458/article/details/65635155 　　这段时间在看基于字典的单帧图像超分辨率重建，本篇主要是对这块做个笔记记录。 1 、准备好用于字典训练的低分辨率图像 LR 及与之对应的高分辨率图片 HR 。 2 、将低分辨率图像双线性或者三次方插值到高分辨率图像相同大小，得到 MR 。 3 、将 MR 图像分成若干个 3x3 或者 5x5 之类的小块，小块之间有 1x1 或者 2x2 之类的重叠区域，对应的高分辨率图像同样对应坐标位置，分成这个多块。 4 、对 MR 的图像块做特征提取操作，可以是每个块减去该块平均值、或者是每个块做梯度散度提取。 1 、 MR 特征块集合作为低分辨率字典，对应的高分辨率块集合作为高分辨率字典。 2 、输入待处理的低分辨率图像，并用和字典训练一样的块大小做分割。 3 、所有低分辨率图像分割块做特征提取。 4 、每个特征块 X ，在低分辨率字典中找到最接近的 K 个块。 5 、通过这 K 个块，拟合得到最接近该特征块的权重系数 A 。 6 、找到高分辨率字典上对应的该 K 个块，乘上权重系数 A ，得到低分辨率块 X 对应的高分辨率图像块 Y 。 7 、循环计算，直到所有低分辨率块都得到对应高分辨率块。 8 、所有高分辨率块，根据之前分割坐标，反向贴合

大部分文章这篇博客介绍的很详细： https://blog.csdn.net/aBlueMouse/article/details/78710553 1、SRCNN（第一次将深度学习应用于SR） 2、FSRCNN（对SRCNN提速，反卷积+小的卷积核） 3、ESPCN（亚像素卷积层） 4、VDSR（全局残差学习） 5、DRCN（全局残差学习+单权重的递归学习+多目标优化） 6、RED（对称的卷积层-反卷积层） 7、DRRN（多路径模式的局部残差学习+全局残差学习+多权重的递归学习） 8、LapSRN（逐步上采样，一级一级预测残差，提出了一种新的多尺度超分辨率系统(MDSR)和训练方法，可以在一个模型中重建不同尺度因子的高分辨率图像） 9、SRDenseNet（引入dense block） 10、SRGAN(SRResNet)（引入GAN和感知损失） 11、EDSR（2017年冠军模型，改进SRResNet） 以下对两篇文章做详细介绍 SRGAN 问题：当我们超分辨率在大尺度因子时，如何恢复更精细的纹理细节? 在这篇文章中，将生成对抗网络(Generative Adversarial Network, GAN)用在了解决超分辨率问题上。文章提到，训练网络时用均方差作为损失函数，虽然能够获得很高的峰值信噪比（psnr），但是恢复出来的图像通常会丢失高频细节（因为它针对一个一个像素优化

2相关工作 残差表示 shortcut连接 3深度参差学习 参差学习 实际就是用在输入和输出之间加入一个shortcut连接，使用深度网络来学习输入到输入的残差，F(x)=H(x)-x; 这个想法的起源在于，在解决了梯度消失的问题后，深层网络的表现要差于较浅层，而深层网络的模型空间显然是大于浅层网络的，因此这个问题揭示了在非线性网络中，学习恒等映射是一个比较困难的事情，因此需要加入一个恒等映射网络 由shortcut提供的恒等网络 如果输入输出相同维度：y=F(x,{Wi})+x　　　　　（１） 如果输入输出不同维度：y=F(x,{Wi})+Ws*x 　　（２） 网络架构 参差网络架构 维度不同下包含两种shortcut 添加额外的０输入到增加的维度 使用上面的公式２进行匹配 实现 短边resize 224x224crop+水平翻转 颜色增强 BN SGD batchsize256 learning rate 0.1/60x10^4迭代 momentum:0.0001 weight decay+0.9 4 实验 3个观察 34层的普通网络error比18层普通网络的高，34层的残差网络比18层残差网络的低 相同层数的残差网络比普通网络error低 残差网络收敛更快 从上面的观察基本可以证明推断是正确的 来源： https://www.cnblogs.com/zhouyu0-0/p

概述 户外监控设备经常捕捉带有雨纹(rain streak)的图像，这可能会严重影响一些现有电脑视觉系统的表现。因此，自动去除雨纹成为计算机视觉和多媒体领域的重要研究课题，并已成功应用于无人驾驶技术和基于内容的图像编辑等领域。 对于单个图像的去雨处理，现有的基于深度学习的方法要么专注于网络的入口和出口,将输入图像分解为高和低频率信息，使用残差学习减小映射范围，要么引入级联学习(cascaded learning)，将去雨分解为多阶段任务。这些方法将卷积神经网络视为封装的端到端映射模块，没有深入探讨神经网络设计的合理性和优越性。 这篇论文发表于ACM MM 2018，提出一种非局部增强的编码器解码器网络架构，用于增强特征表达和空间相关学习。该架构包含一个嵌入池索引(pooling indices)的编解码器网络，由一系列非局部增强的密集块(dense block)组成，不仅充分利用了所有卷积层的层次特征，而且能够很好地捕获长距离依赖和结构信息，有效学习日益抽象的特征表示。 该方法同时做到有效去除各种密度的rain streak，完美保留图像的细节。 论文链接 背景知识 Pooling indices 在Decoder中需要针对最大池化之后的feature map进行上采样。上采样，顾名思义就是池化的反向处理，这个过程中存在着不确定性

文章目录 Abstract 1. Introduction 2. Common Core of Experiments 3. Rich Model for Steganalysis of Color Images 4. 实验 5. Conclusion Abstract 在这篇文章中提出了一种对于Spatial rich model的扩展，附加特征由RGB三个通道的三维共现形成，他们的作用是捕捉颜色通道之间的依赖关系。这些CRMQ1（color rich model）对于展现了色彩插值痕迹的图片可以非常有效地检测其隐写信息。内容自适应算法由于其修改相同像素信息的趋势而受到更大冲击。该特征集的有效性在BOSSbase三个不同的颜色版本和两种隐写算法上得到验证。 1. Introduction 所有针对灰度设计的隐写分析技术都可以通过将彩色图像看做三倍大的灰度图像来应用于彩色图像，但这种方法失去了色彩之间的依赖性信息。 文献18中提出了第一个考虑颜色通道间相关性的彩色图像隐写分析特征集。作者使用了高阶的噪声残差矩，残差通过对三颜色通道的图像进行QMF分解的系数进行预测得到。 文献19中提出了另一种LSB颜色匹配检测器。作者使用图像的3D颜色立方体表示，提出了3*3*3领域的相对频率作为隐写特征。这种方法在解压后的JPEG文件中表现很好，但在大量具有单一色彩的图像中表现不佳

　　Akaike information criterion，AIC是什么？一个用来筛选模型的指标。AIC越小模型越好，通常选择AIC最小的模型。第一句话好记，第二句话就呵呵了，小编有时候就会迷惑AIC越大越好还是越小越好。所以，还是要知其所以然的。 　　在AIC之前，我们需要知道Kullback–Leibler information或 Kullback–Leiblerdistance。对于一批数据，假设存在一个真实的模型f，还有一组可供选择的模型g1、g2、g3…gi，而K-L 距离就是用模型 gi 去估计真实模型 f 过程中损失的信息。可见K-L 距离越小，用模型 gi 估计真实模型 f 损失的信息越少，相应的模型 gi 越好。 　　然后，问题来了。怎么计算每个模型 gi 和真实模型 f 的距离呢？因为我们不知道真实模型 f，所以没办法直接计算每个模型的K-L距离，但可以通过信息损失函数去估计K-L距离。日本统计学家Akaike发现log似然函数和K-L距离有一定关系，并在1974年提出Akaike information criterion，AIC。通常情况下，AIC定义为：AIC=2k-2ln(L)，其中k是模型参数个数，L是似然函数。 　　-2ln(L)反映模型的拟合情况，当两个模型之间存在较大差异时，差异主要体现在似然函数项-2ln(L)，当似然函数差异不显著时

论文：Deep Residual Learning for Image Recognition 发表时间：2015 发表作者：(Microsoft Research)He-Kaiming, Ren-Shaoqing, Sun-Jian 论文链接： 论文链接 ResNet Resnet差不多是当前应用最为广泛的CNN特征提取网络。它的提出始于2015年，作者中间有大名鼎鼎的三位人物He-Kaiming, Ren-Shaoqing, Sun-Jian。 VGG网络试着探寻了一下深度学习网络的深度究竟可以深几许以能持续地提高分类准确率。我们的一般印象当中，深度学习愈是深（复杂，参数多）愈是有着更强的表达能力。凭着这一基本准则CNN分类网络自Alexnet的7层发展到了VGG的16乃至19层，后来更有了Googlenet的22层。可后来我们发现深度CNN网络达到一定深度后再一味地增加层数并不能带来进一步地分类性能提高，反而会招致网络收敛变得更慢，test dataset的分类准确率也变得更差。排除数据集过小带来的模型过拟合等问题后，我们发现过深的网络仍然还会使分类准确度下降（相对于较浅些的网络而言）。 VGG网络达到19层后再增加层数就开始导致分类性能的下降。而Resnet网络作者则想到了常规计算机视觉领域常用的residual representation的概念