上采样

缩小图像（或称为下采样（subsampled）或降采样（downsampled））的主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。 放大图像（或称为上采样（upsampling）或图像插值（interpolating））的主要目的是放大原图像,从而可以显示在更高分辨率的显示设备上。对图像的缩放操作并不能带来更多关于该图像的信息, 因此图像的质量将不可避免地受到影响。然而，确实有一些缩放方法能够增加图像的信息，从而使得缩放后的图像质量超过原图质量的。 下采样原理：对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，当然s应该是M和N的公约数才行，如果考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值： 上采样原理：图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。 无论缩放图像（下采样）还是放大图像（上采样），采样方式有很多种。如最近邻插值，双线性插值，均值插值，中值插值等方法。在AlexNet中就使用了较合适的插值方法。各种插值方法都有各自的优缺点。 常用的插值方法 1、最邻近元法 　　这是最简单的一种插值方法，不需要计算，在待求象素的四邻象素中，将距离待求象素最近的邻象素灰度赋给待求象素。设i+u, j

文章目录 前言 1. 图示理解 2. 概念详解 2.1 Upsampling(上采样) 2.2 Unpooling(上池化) 2.3 Deconvolution（反卷积） 2.4 FCN(U-net)中的low-level和high-level特征的融合 2.5 上采样/下采样 3.参考文献 前言 在看图像语义分割方面的论文时，发现在网络解码器结构中有的时候使用反卷积、而有的时候使用 unpooling 或或者 unsampling ，查了下资料，发现三者还是有不同的。这里记录一下。 1. 图示理解 使用三张图进行说明： 图(a)表示 UnPooling 的过程，特点是在 Maxpooling 的时候保留最大值的位置信息，之后在 unPooling 阶段使用该信息扩充 Feature Map ，除最大值位置以外，其余补0。与之相对的是图(b)，两者的区别在于 UnSampling 阶段没有使用 MaxPooling 时的位置信息，而是直接将内容复制来扩充 Feature Map 。从图中即可看到两者结果的不同。图©为反卷积的过程，反卷积是卷积的逆过程，又称作转置卷积。最大的区别在于反卷积过程是有参数要进行学习的(类似卷积过程)，理论是反卷积可以实现 UnPooling 和 unSampling ，只要卷积核的参数设置的合理。 反卷积与UnPooling的可视化

　　本文认为已有的SR方法存在着三个主要的问题： 　　①采用预定义的上采样操作（例如双三次插值）会产生不必要的计算代价，并且结果可能会有重建伪影。而使用反卷积层这样的操作来替换预定义的上采样操作，网络结构又比较简单，性能较差，不能很好地学习复杂的映射； 　　②使用l2型损失函数时，不可避免地会产生模糊的预测，恢复出的高分辨图片往往会过于平滑； 　　③大部分的方法都只有一次上采样的步骤，这就会使得对于更高倍数因子的训练变得困难。 　　为了解决上述问题，本文提出了LapSRN，网络以LR图片作为输入，以低分辨到高分辨的方式来预测子带残差。在网络的每一层，一系列的卷积层被用来提取特征映射。此后，一个反卷积层用来将特征映射上采样，然后传递到最后一层。最后用一个卷积层来预测子带残差（sub-band residual，指各层上采样的结果与ground-truth的差别）。网络结构如图所示： 　　在训练时，采用的是l1型的损失函数Charbonnier，并且在每一级网络进行一次计算，最终将每一级的损失函数和进行优化。 　　 　　与之前讲过的VDSR类似的，LapSRN也采用了很深的网络结构，且也采用了残差学习的方式，但是从结构上来看，很明显LapSRN采用的多级结构在每一级都进行反卷积和残差学习，而VDSR是经过插值上采样后进行残差学习。而与同样采用了反卷积层进行上采样的FSRCNN相比

在音频软件实现中经常会遇到两个模块采样率不一致的情况，比如语音通话时采集到的PCM信号是16k Hz的，但编码时codec是AMR-NB（AMR-NB是8k Hz采样），这时就需要把16k Hz采样的PCM值转换成8k Hz采样的PCM值（这叫降采样或者下采样），然后再去做AMR-NB编码。再比如音乐播放时音源是44.1k Hz采样率编码的，但是播放时是48k Hz采样率的，这就需要把解码后的44.1k Hz采样率的PCM值转换成48k Hz采样的PCM值（这叫升采样或者上采样），然后再送给codec芯片播放。采样率转换（sampling rate converter, SRC）或者叫重采样有多种方法，简单的有线性插值法（算法简单，load小，但性能一般），复杂的有sinc方法（算法复杂，load大，但性能较好）。好多的音频类开源代码里都有重采样的实现，比如PJSIP和FFMPEG。重采样的原理这里就不详细介绍了，有兴趣的可以看相关文章。今天我们讲的是如何去评估这些开源代码里的重采样实现以及选择最适合的实现。评估主要基于频响特性，其次看CPU load。评估的开源实现是我用过的PJSIP和SILK codec。PJSIP里的重采样有两种实现（线性插值和sinc）,通过开关控制选用哪种。SILK里的重采样用的是三次插值方法。对其他开源实现的评估类似。 在评估前先要做一些准备工作

本文为论文阅读笔记，不当之处，敬请指正。 A Review on Deep Learning Techniques Applied to Semantic Segmentation: 原文链接 4 深度学习图像分割的常用方法 深度学习在多种高级计算机视觉任务中的成功―特别是监督CNNs（Convolutional Neural Networks，卷积神经网络）在图像分类、物体检测方面的成功―鼓舞着研究人员探索此类网络对于像素级标记，如语义分割方面的能力。此类深度学习技术的突出优点，相比传统方法，，能够针对当前问题 自动学习合适的特征表示 。传统方法通常使用手动特征，为了使其适应新的数据集，通常需要专家经验和时间对特征进行调整。 文章综述中所比较的基于深度学习的图像分割算法的特性（详情查看原文）。 当前最成功的图像分割深度学习技术都是基于一个共同的先驱：FCN（Fully Convolutional Network，全卷积神经网络）。CNNs是非常高效的视觉工具，能够学习到层次化的特征。 研究人员将全连接层替换为卷积层来输出一种空间域映射而非类的评分，从而将现存、周知的分类模型，如AlexNet，VGG，GoogleNet和ResNet等，转化为全卷积的模型。 这些映射用分数阶卷积（fractionally strided convolutions，又名反卷积）来产生像素级标签输出。

上采样：丰富图像信息 下采样：降低图像维度 利用zoom函数 order=0，最近邻插值 order=1，双线性插值 order=2， zoom<1，下采样，>1，上采样 import SimpleITK as sitk from scipy.ndimage.interpolation import zoom import matplotlib.pyplot as plt path = 'G:/brats17-paper/Brats18preprocessing/HGG/Brats18_2013_2_1/Brats18_2013_2_1.nii.gz' img = sitk.ReadImage(path) data = sitk.GetArrayFromImage(img) plt.imshow(data[100,:,:], cmap = 'gray') plt.show() data_img = zoom(data, zoom = 0.5, order=1) print(data_img.shape) plt.imshow(data_img[50,:,:], cmap = 'gray') plt.show() 文章来源: https://blog.csdn.net/weixin_42338058/article/details/85048902

#1. 图像下采样和上采样的概念# 无论是图像的上采样还是下采样都可以使用matlab中的imresize函数来实现，而这些操作在使用到图像金字塔的算法中，必然是不可或缺的操作步骤。需要指出的是，当我们对一幅图像先下采样再上采样回原尺寸，得到的结果就是原图像的低频成分了。 下面简要介绍2者的概念。 1.1 图像下采样 图像下采样（subsampled）可以通俗地理解成缩小图像，又称为降采样（downsampled）。其目的有两个：1）使得图像符合显示区域的大小；2）生成对应图像的缩略图。 ##1.2 图像上采样 ## 图像上采样（upsampling）就是放大图像，也可以将之称为图像插值（interpolating），其主要目的是放大原图,从而使得图像可以显示在更高分辨率的显示设备上。 #2 . 原理# 2.1 下采样原理 为了说清下采样，我们举个例子。假设我们有一幅图像Img，其大小为M*N，并且我们想对该图像进行s倍下采样，即使图像缩小s倍，这里要在长宽上同时缩小s倍。那么最终得到的下采样图像（结果图像）的大小就为(M/s)×(N/s)。至于究竟如何使得图像转为(M/s)×(N/s)大小的，这里提供2种方法。如下： img = imread('lena.tif'); [height,width,~] =size(img); % 使用2种方法进行下采样 sub_1 = img(1

Android上oprofile使用说明 (2012-02-15 00:39:56) 转载 ▼ 注：这是本人一年半前写的文档，贴在这里作为备份，由于当时是针对 Android 1.6(Donut)、2.1(Eclair)和 2.2(Froyo)编写的，部分内容可能已经不适用于目前版本的Android，仅供参考。 Android上oprofile使用说明 1. 目的 本文介绍了 oprofile 的功能并基于 Android 2.1 介绍了使用 oprofile 的基本方法和步骤。本文的读者为软件开发人员和白盒测试人员。 2. oprofile 简介 Oprofile 是用于 Linux 的若干种评测和性能监控工具中的一种，它可以工作在不同的体系结构上，包括 IA32 、 IA64 、 AMD Athlon 系列及 ARM 等。 Oprofile 包含在 Linux 2.5 和更高版本的内核中，也包含在大多数较新的 Linux 发行版本中，在 Android 中已经集成了 Oprofile 。 oprofile 以很低的开销对系统中所有运行的代码（包括 kernel 、 kernel 模块、库、应用程序）进行函数级别的性能分析（ function-level profiling ），跟踪占用 CPU 高的函数的调用信息，从而 判断程序中哪些地方存在需要优化的性能瓶颈。

Android上oprofile使用说明 (2012-02-15 00:39:56) 转载 ▼ 注：这是本人一年半前写的文档，贴在这里作为备份，由于当时是针对 Android 1.6(Donut)、2.1(Eclair)和 2.2(Froyo)编写的，部分内容可能已经不适用于目前版本的Android，仅供参考。 Android上oprofile使用说明 1. 目的 本文介绍了 oprofile 的功能并基于 Android 2.1 介绍了使用 oprofile 的基本方法和步骤。本文的读者为软件开发人员和白盒测试人员。 2. oprofile 简介 Oprofile 是用于 Linux 的若干种评测和性能监控工具中的一种，它可以工作在不同的体系结构上，包括 IA32 、 IA64 、 AMD Athlon 系列及 ARM 等。 Oprofile 包含在 Linux 2.5 和更高版本的内核中，也包含在大多数较新的 Linux 发行版本中，在 Android 中已经集成了 Oprofile 。 oprofile 以很低的开销对系统中所有运行的代码（包括 kernel 、 kernel 模块、库、应用程序）进行函数级别的性能分析（ function-level profiling ），跟踪占用 CPU 高的函数的调用信息，从而 判断程序中哪些地方存在需要优化的性能瓶颈。

主要语义分割网络调研 介绍 图像的语义分割是将输入图像中的每个像素分配一个语义类别，以得到像素化的密集分类。虽然自 2007 年以来，语义分割/场景解析一直是计算机视觉社区的一部分，但与计算机视觉中的其他领域很相似，自 2014 年 Long等人 首次使用全卷积神经网络对自然图像进行端到端分割，语义分割才产生了大的突破。 网络架构 一般的语义分割架构可以被认为是一个 编码器-解码器 网络。 编码器 通常是一个预训练的分类网络，像 VGG、ResNet，然后是一个 解码器 网络。这些架构不同的地方主要在于 解码器 网络。 解码器 的任务是将 编码器 学习到的可判别特征（较低分辨率）从语义上投影到像素空间（较高分辨率），以获得密集分类。 不同于分类任务中网络的最终结果（对图像分类的概率）是唯一重要的事，语义分割不仅需要在像素级有判别能力，还需要有能将编码器在不同阶段学到的可判别特征投影到像素空间的机制。不同的架构采用不同的机制（跳跃连接、金字塔池化等）作为解码机制的一部分。 Fully Convolution Networks (FCNs) 全卷积网络 Fully Convolutional Networks for Semantic Segmentation(2015) 作者将当前分类网络（AlexNet, VGG net 和 GoogLeNet）修改为全卷积网络