图像分辨率

基于深度学习的SR方法 懒得总结，就从一篇综述中选取了一部分基于深度学习的图像超分辨率方法。 原文：基于深度学习的图像超分辨率复原研究进展 作者：孙旭 李晓光 李嘉锋 卓力 北京工业大学信号与信息处理研究室 来源：中国知网 1.基于前馈深度网络的方法 前馈深度网络是典型的深度学习模型之一。网络中各个神经元从输入层开始，接收前一级输入，并输入到下一级, 直至输出层。整个网络中无反馈, 可用一个有向无环图表示。 在深度学习的SR问题中，前馈深度网络能够较好地学习低分辨率图像到高分辨率图像之间的对应关系。在输入层中，它采用卷积的方法提取输入图像的局部特征模式，单向传递给隐含层, 随着隐含层网络层数的加深而学习得到更深层级的特征；最后，由输出层得到重建图像。典型的前馈深度网络包括多层感知器和卷积神经网络（CNN）。 按前馈深度网络的网络类型可以分为以下几类:基于卷积神经网络的方法 (Super resolution using convolution neural network，SRCNN) ;基于极深网络的方法 (Very deep networks for SR，VDSR) ;基于整合先验的卷积神经网络的方法 (SR-CNN with Prior，SRCNN-Pr) ;基于稀疏编码网络的方法(Sparse coding based network，SCN) 和基于卷积稀疏编码的方法

码流 / 码率 / 比特率 / 帧速率 / 分辨率 / 高清 GOP/ 码流 /码率 / 比特率 / 帧速率 / 分辨率 GOP（Group of picture） 关键帧的周期，也就是两个IDR帧之间的距离，一个帧组的最大帧数，一般而言，每一秒视频至少需要使用 1 个关键帧。增加关键帧个数可改善质量，但是同时增加带宽和网络负载。 需要说明的是，通过提高GOP值来提高图像质量是有限度的，在遇到场景切换的情况时，H.264编码器会自动强制插入一个I帧，此时实际的GOP值被缩短了。另一方面，在一个GOP中，P、B帧是由I帧预测得到的，当I帧的图像质量比较差时，会影响到一个GOP中后续P、B帧的图像质量，直到下一个GOP开始才有可能得以恢复，所以GOP值也不宜设置过大。 同时，由于P、B帧的复杂度大于I帧，所以过多的P、B帧会影响编码效率，使编码效率降低。另外，过长的GOP还会影响Seek操作的响应速度，由于P、B帧是由前面的I或P帧预测得到的，所以Seek操作需要直接定位，解码某一个P或B帧时，需要先解码得到本GOP内的I帧及之前的N个预测帧才可以，GOP值越长，需要解码的预测帧就越多，seek响应的时间也越长。 CABAC/CAVLC H.264/AVC标准中两种熵编码方法，CABAC叫自适应二进制算数编码，CAVLC叫前后自适应可变长度编码， CABAC：是一种无损编码方式，画质好

这几天刚刚接触了新的项目，做一个android客户端。本周的工作是完成客户端的UI界面和功能实现，但是对于Android开发最头疼的部分，即是对于纷杂的屏幕做适配的工作现在来说是最棘手的！ 图像显示所需的概念: 像素: 一幅图片的显示就是由许多显示着不同颜色的小方格组成的,这样的小方格就被称为像素，是构成图片的最小单位.但是这个像素的具体大小是多少呢?这需要取决于显示这张图片的具体的物理设备显示一个图片像素点的荧光点的大小.图片文件只是记录着它自身有多少个像素点,每个像素点显示什么颜色,至于它自身物理尺寸有多大,它自身也无法得知,例如一张480*800像素的图片在电脑显示器上显示明显要比在手机屏幕上显示大很多,而这张图片本身并没有改变.只是手机的屏比电脑显示器的屏要精细许多,也就是每一个物理像素点要小许多,密度也就大许多. 分辨率: 分为“图像分辨率”与“物理显示分辨率”。它们都是水平像素点数与垂直像素点数的乘积,也就是像素总和数。图像分辨率是指图片文件记录着自身所有的像素数。物理显示分辨率是指物理显示屏水平与垂直能显示的像素数的乘积.有的人说分辨率越高,显示的图片就越清晰,这点是针对物理尺寸相同的情况而言,因为一样的分辨率有可能尺寸可能不一样大,这样光就分辨率来比较清晰度没有可比性. 密度: 就是物理设备上单位尺寸里的像素数,当然是密度越大图片显示就越清晰了.

移动端适配，是我们在开发中经常会遇到的，这里面可能会遇到非常多的问题： 1px问题 UI图完美适配方案 iPhoneX适配方案 横屏适配 高清屏图片模糊问题 ... 上面这些问题可能我们在开发中已经知道如何解决，但是问题产生的原理，以及解决方案的原理可能会模糊不清。在解决这些问题的过程中，我们往往会遇到非常多的概念：像素、分辨率、PPI、DPI、DP、DIP、DPR、视口等等。 本文将从移动端适配的基础概念出发，探究移动端适配各种问题的解决方案和实现原理。 一、英寸 一般用英寸描述屏幕的物理大小，如电脑显示器的17、22，手机显示器的4.8、5.7等使用的单位都是英寸。 英寸和厘米的换算：1英寸 = 2.54 厘米 二、物理像素 2.1 像素 像素即一个小方块，它具有特定的位置和颜色。 图片、电子屏幕（手机、电脑）就是由无数个具有特定颜色和特定位置的小方块拼接而成。 像素可以作为图片或电子屏幕的最小组成单位。 2.2 物理像素 到电商网站购买手机，都会看一看手机的参数，以apple的官网上对手机分辨率的描述为例： iPhone XS Max 和 iPhone SE的分辨率分别为2688 x 1242和1136 x 640。表示手机分别在垂直和水平上所具有的像素点数。 这里描述的就是屏幕实际的物理像素，即一个屏幕具体由多少个像素点组成。 屏幕从工厂出来那天起

在底层视觉算法领域，商汤科技提出的 面向生成更自然真实纹理图像的超分辨率算法 。本文为商汤科技CVPR 2018论文解读第3期。 论文：Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform 作者：Xintao Wang, Ke Yu, Chao Dong, Chen Change Loy 论文链接： https:// arxiv.org/abs/1804.0281 5 Project page: http:// mmlab.ie.cuhk.edu.hk/pr ojects/SFTGAN/ 简介 单帧图像超分辨率旨在基于单张低分辨率图像恢复对应的高分辨率图像。卷积神经网络近年在图像超分辨率任务中表现出了优异的重建效果，但是恢复出自然而真实的纹理依然是超分辨率任务中的一大挑战。 如何恢复出自然而真实的纹理呢？一个有效的方式是考虑语义类别先验，即使用图像中不同区域所属的语义类别作为图像超分辨率的先验条件，比如天空、草地、水、建筑、森林、山、植物等。不同类别下的纹理拥有各自独特的特性，换句话说，语义类别能够更好的约束超分辨中同一低分辨率图存在多个可能解的情况。如图1中展示的建筑和植物的例子，它们的低分辨率图像块非常类似。虽然结合生成对抗式网络（GAN）进行超分复原

论文全名：Image Super-Resolution via Deep Recursive Residual Network 下载地址：http://pan.baidu.com/s/1hsQk8j6 code：https://github.com/tyshiwo/DRRN_CVPR17 这是一篇CVPR2017的关于图像超分辨率的文章，相较于VDSR取得了更好的结果，从结构上看，还是之前的基调，更深的网络结构（52层），同时采取了递归操作，递归模块中存在权重共享，减少了模型的参数，取得了较好的成果 创新点： 1.更深的网络层次，其实最近的关于图像超分辨率的论文都是一个基调，越深越好，不过深度增加的网络对梯度传播带来困难，最近的论文如VDSR，DRCN，LapSRN都采取了相关的解决措施，当然，此篇论文采取的是VDSR的调整梯度裁剪 加 DRCN的递归学习 2.递归学习，其实这不算是一个创新点，无论是DRCN还是ResNet都有递归模块，不过此篇的递归模块更接近于DRCN，递归模块中权重共享减少了模型所需要的参数，从而保证不发生梯度爆炸或者梯度消失 3.残差学习，残差学习可以算是图像超清方面的一个很好的学习策略，由于低分辨率图片与高分辨率图片在图片信息上有很多地方是共享的，于是，可以只学习低分辨率与高分辨率之间的差别也就是残差，并将残差与低分辨率做element

SRResNet SRResNet 网络来源于SRGAN，原论文（ https://arxiv.org/abs/1609.04802 ）提到一种扩展方式，允许修复更高频的细节。 SRResNet 的残差块架构基于这篇文章（ http://torch.ch/blog/2016/02/04/resnets.html ）。存在两个小的更改：一个是 SRResNet 使用 Parametric ReLU 而不是 ReLU，ReLU 引入一个可学习参数帮助它适应性地学习部分负系数；另一个区别是 SRResNet 使用了图像上采样方法，SRResNet 使用了子像素卷积层。详见： https://arxiv.org/abs/1609.07009 。 SRGAN网络结构如图1所示。 图1 在生成网络部分(SRResNet)部分包含多个残差块，每个残差块中包含两个3×3的卷积层，卷积层后接批规范化层(batch normalization, BN)和PReLU作为激活函数，两个2×亚像素卷积层(sub-pixel convolution layers)被用来增大特征尺寸。在判别网络部分包含8个卷积层，随着网络层数加深，特征个数不断增加，特征尺寸不断减小，选取激活函数为LeakyReLU，最终通过两个全连接层和最终的sigmoid激活函数得到预测为自然图像的概率。 这篇论文（ https:/

机器视觉入门知识总结 一、机器视觉系统 工业相机类型： 按照输出信号类型的不同分为模拟相机和数字相机两种。而数字相机按照接口标准不同，可以分为1394相机、USB相机、CameraLink相机以及Gige相机四种。其中CameraLink接口相机能够解决大数据量传送问题；Gige接口相机能够解决长距离、快速传输问题；而1394相机和USB接口相机具有简单易用、性价比高等特点； 镜头接口类型： C接口、CS接口、U接口等； 光源类型： 环形光源、背光源、同轴光源、条形光源、点光源、球积分光源等； 二、如何选择相机？ 1 、根据应用的不同分别选用 CCD 或 CMOS 相机 CCD工业相机主要应用在运动物体的图像提取，当然随着CMOS技术的发展，很多贴片机也在选用CMOS工业相机。用在视觉自动检查的方案或行业中一般用CCD工业相机比较多。CMOS工业相机由成本低，功耗低也应用越来越广泛。 2 、分辨率的选择 　　根据系统需求来选择分辨率大小。首先考虑待观察或待测量物体的精度，根据精度选择分辨率。相机像素精度=单方向视野范围大小/相机单方向分辨率。则相机单方向分辨率=单方向视野范围大小/理论精度。若单视野为5mm长，理论精度为0.02mm，则单方向分辨率=5/0.02=250。然而为增加系统稳定性，不会只用一个像素单位对应一个测量/观察精度值，一般可以选择倍数4或更高

某天某小编利用上班时间在“吃鸡”（玩绝地逃生），用着最牛X的超级小钢炮游戏配置（i7-7700K+GTX 1080 Ti），按道理来说4K画质下起码流畅才是，可总觉得一卡一顿的，游戏体验十分糟糕，最后连“鸡”都吃不成。检查驱动、显卡设置都没有问题，某小编一时间犯了难，难道真的是技不如人？ 经过高人指点，终于发现了端倪，在游戏显示选项中，我们赫然发现4K分辨率下屏幕刷新了最高只有30帧，原来是我们用的视频输出接口线有问题！HDMI 1.4线材先天条件决定其最高仅支持3840 x 2160@30Hz或4096×2160@24Hz。换而言之，某小编用错线材了，要想体验完美的4K@60Hz还需DisplayPort 1.4/HDMI 2.0的线。那么HDMI、DVI、DisplayPort不同版本线材又一一对应什么样的分辨率和功能呢？我们将一一为你解答。 VGA的历史 VGA接口的历史可谓是悠久，诞生于1987年，发明者正正是蓝色巨人IBM，采用模拟信号的视频标准。VGA接口共有15针，分成3排，每排5个孔，用于传输红、绿、蓝三色模拟信号以及行场同步信号(水平和垂直信号)。 大部分都知道VGA分辨率指的就是640×480，但并不清楚其实VGA接口其实能支持输出1080P以上分辨率的图像，但是为什么它被淘汰了呢？ 原因很简单，因为VGA是模拟接口，传输的还是模拟信号，首先抗干扰能力差

1、多源图像-多视角 超分辨率图像复原综述_真印良品_新浪博客 http://blog.sina.com.cn/s/blog_91991d6501018cjr.html 从多幅LR图像中得到HR图像： 信息，这样就不能为HR图像的复原提供新的信息。如果每幅LR图像彼此之间都是不同的亚像素平移，那么它们彼此之间就不会相互包含，在这种情况下，每一幅LR图像都会为HR图像的复原提供一些不同的信息。为了得到同一场景的不同侧面，必须通过一帧接一帧的多场景或者视频序列的相关的场景运动。我们可以通过一台照相机的多次拍摄或者在不同地点的多台照相机获取多个场景，例如在轨道卫星一类可控制的图像应用中，这种场景运动是能够实现的；对于局部对象移动或者震荡一类的不可控制的图像应用也是同样能实现的。如果这些场景运动是已知的或者是在亚像素精度范围了可估计的，同时如果我们能够合成这些HR图像，那么SR图像复原是可以实现的。 多帧超分辨率的概念。左侧的网格表示具有子像素对齐的相同场景的LR图像，因此可以通过将补充信息与SR方法融合来获取HR图像（右侧的网格）。 图像超分辨率：技术，应用和未来 - 简书 https://www.jianshu.com/p/a36a333e8200 2、多来源 多源图像超分辨率重建研究 http://www.wanfangdata.com.cn/details/detail.do?