采样定理

主要内容： 1、傅里叶分析 2、香农采样定理 一、傅里叶变换 参考： 傅里叶分析之掐死教程 http://zhuanlan.zhihu.com/wille/19763358 二、香农采样定理 香农采样定理说，只要采样频率大于被采样信号最高频率的两倍，就能完全恢复。 链接：http://www.zhihu.com/question/24490634/answer/28430016 来源：知乎 Nyquist采样定理是连接连续和离散的桥梁 　　现实世界接触到的诸如电信号、光信号、声音信号等这些信号都是随时间连续变化的，称之为连续信号。但对于计算机来说，处理这些连续的信号显然是无能为力，要使计算机能够识别、计算、处理这些连续信号就必须将其转化为离散信号，将连续信号转换为离散信号的过程就叫采样。常用的mp3、数码照片、视频等都是经过了采样，才能应用于计算机上。 　　采样后，计算机得到的是离散的点，用这些离散的点来代替连续的线就势必会产生误差，那么这个误差是不是在容许的范围内，根据采样得到离散的点能不能还原出连续的信号？于是 采样定理1928年由美国电信工程师H.奈奎斯特首先提出来的，因此称为奈奎斯特采样定理。1933年由苏联工程师科捷利尼科夫首次用公式严格地表述这一定理，因此在苏联文献中称为科捷利尼科夫采样定理。1948年信息论的创始人C.E.香农对这一定理加以明确地说明并正式作为定理引用

奈奎斯特采样定理NOTE： 定理：为了不失真地恢复模拟信号，离散信号系统的采样频率不小于模拟信号频谱中最高频率的2倍。 在时域上，频带为F的连续信号f(t)可用一系列离散的采样值f(t1),f(t1+Δt),f(t1+2Δt)…来表示，只要这些采样点的时间间隔Δt<=1/2F，便可根据各采样值完全恢复原始信号。 在频域上，当时间信号函数f(t)的最高频率分量为fmax时，f(t)的值可由一系列采样间隔小于或等于1/2fmax的采样值来确定，即采样点的重复频率为fs>=2fmax。 采样定理指出，只要离散系统的奈奎斯特频率高于采样信号的最高频率或带宽，就可以避免混叠现象。从理论上说，即使奈奎斯特频率恰好大于信号带宽，也足以通过信号的采样重建原信号。但是，重建信号的过程需要以一个低通滤波器或者带通滤波器将在奈奎斯特频率之上的高频分量全部滤除，同时还要保证原信号中频率在奈奎斯特频率以下的分量不发生畸变，而这是不可能实现的。在实际应用中，为了保证抗混叠滤波器的性能，接近奈奎斯特频率的分量在采样和信号重建的过程中可能会发生畸变。因此信号带宽通常会略小于奈奎斯特频率，具体的情况要看所使用的滤波器的性能。需要注意的是，奈奎斯特频率必须严格大于信号包含的最高频率。如果信号中包含的最高频率恰好为奈奎斯特频率，那么在这个频率分量上的采样会因为相位模糊而有无穷多种该频率的正弦波对应于离散采样

Making Convolutional Networks Shift-Invariant Again Intro 本文提出解决CNN平移不变性丧失的方法，之前说了CNN中的downsample过程由于不满足采样定理，所以没法确保平移不变性。信号处理里面解决这样的问题是利用增大采样频率或者用抗混叠方法，前者在图像处理里面设置stride 1就可实现，但stride 1已经是极限，本文着重于后者，使用抗混叠使得CNN重新具有平移不变性。 混叠是在采样频率不满足采样定理时出现的一种现象，抗混叠通过抗混叠滤波器消除混叠，即先用低通滤波器处理，然后再去采样，这样可以消除高频信号造成的不满足采样定理的情况。那么在图像处理里，理论上avg pooling就可以减小高频影响，但是有相关研究表明max-pooling在结果上要优于avg pooling(不考虑平移不变性只考虑分类等结果)，但是max-pooling是不满足采样定理的，这就很尴尬。 Methods 先解释两个概念 平移不变性：指的是输入平移一定距离，最终的结果不变，分类里面就是分类的概率结果是不变的。 平移同变形：指的是输入平移一定距离，其对应的feature也做同样的平移。 本文主要是针对特征的平移同变性去解决问题，而实际上实现了特征的平移同变形，后面接的是fc层，最后一层的平移不变性是等价于平移同变性的