卷积定理

先简单理解一下卷积这个东西。 （以下转自https://blog.csdn.net/bitcarmanlee/article/details/54729807 知乎是个好东西） 1.知乎上排名最高的解释 首先选取知乎上对卷积物理意义解答排名最靠前的回答。 不推荐用“反转/翻转/反褶/对称”等解释卷积。好好的信号为什么要翻转？导致学生难以理解卷积的物理意义。 这个其实非常简单的概念，国内的大多数教材却没有讲透。 直接看图，不信看不懂。以离散信号为例，连续信号同理。 已知x[0] = a, x[1] = b, x[2]=c 已知y[0] = i, y[1] = j, y[2]=k 下面通过演示求x[n] * y[n]的过程，揭示卷积的物理意义。 第一步，x[n]乘以y[0]并平移到位置0： 第二步，x[n]乘以y[1]并平移到位置1 第三步，x[n]乘以y[2]并平移到位置2： 最后，把上面三个图叠加，就得到了x[n] * y[n]： 简单吧？无非是平移（没有反褶！）、叠加。 从这里，可以看到卷积的重要的物理意义是：一个函数（如：单位响应）在另一个函数（如：输入信号）上的加权叠加。 重复一遍，这就是卷积的意义：加权叠加。 对于线性时不变系统，如果知道该系统的单位响应，那么将单位响应和输入信号求卷积，就相当于把输入信号的各个时间点的单位响应 加权叠加，就直接得到了输出信号。 通俗的说：

莫比乌斯反演学习笔记1 在这里首先要说明： 1：本文讨论的所有函数为数论函数，即定义域为 \(D=N^*\) 的函数； 2： \(\sum \limits_{d|n}f(d)\) 表示 \(d\) 取遍 \(n\) 的所有 正因子 ，再将所有的 \(f(d)\) 相加，例如当 \(n=6\) 时， \(\sum \limits_{d|n}f(d)=f(1)+f(2)+f(3)+f(6)\) ； 3： \(\prod \limits_{i=1}^ka_i=a_1 \times a_2 \times ... \times a_k\) ，即所有 \(a_i\) 的乘积； 4： \([p]\) （其中p是一个表达式）表示当p成立时，值为1；否则值为0； 5： \((a,b)\) 表示 \(gcd(a,b)\) ，即 \(a,b\) 的最大公因数； 6：几个在狄利克雷卷积中会出现的基本函数： \(\varepsilon(n)=[n=1]\) ，也就是 \(\varepsilon(n)=\begin{cases}1\qquad n=1\\0 \qquad n \neq 1 \end{cases}\) \(I(n)=1\) \(id(n)=n\) 一、积性函数 定义：如果一个函数 \(f(n)\) 满足：当 \((a,b)=1\) 时，有 \(f(ab)=f(a) \times f(b)\)

转自 http://blog.csdn.net/zouxy09/article/details/49080029 一、线性滤波与卷积的基本概念 线性滤波可以说是图像处理最基本的方法，它可以允许我们对图像进行处理，产生很多不同的效果。做法很简单。首先，我们有一个二维的滤波器矩阵（有个高大上的名字叫卷积核）和一个要处理的二维图像。然后，对于图像的每一个像素点，计算它的邻域像素和滤波器矩阵的对应元素的乘积，然后加起来，作为该像素位置的值。这样就完成了滤波过程。 对图像和滤波矩阵进行逐个元素相乘再求和的操作就相当于将一个二维的函数移动到另一个二维函数的所有位置，这个操作就叫卷积或者协相关。卷积和协相关的差别是，卷积需要先对滤波矩阵进行180的翻转，但如果矩阵是对称的，那么两者就没有什么差别了。 Correlation 和 Convolution可以说是图像处理最基本的操作，但却非常有用。这两个操作有两个非常关键的特点：它们是线性的，而且具有平移不变性shift-invariant。平移不变性指我们在图像的每个位置都执行相同的操作。线性指这个操作是线性的，也就是我们用每个像素的邻域的线性组合来代替这个像素。这两个属性使得这个操作非常简单，因为线性操作是最简单的，然后在所有地方都做同样的操作就更简单了。 实际上，在信号处理领域，卷积有广泛的意义，而且有其严格的数学定义，但在这里不关注这个。

本文转自： 最容易理解的对卷积(convolution)的解释 https://www.cnblogs.com/alexanderkun/p/8149059.html 最容易理解的对卷积(convolution)的解释 啰嗦开场白 读本科期间，信号与系统里面经常讲到卷积(convolution)，自动控制原理里面也会经常有提到卷积。硕士期间又学了线性系统理论与数字信号处理，里面也是各种大把大把卷积的概念。至于最近大火的深度学习，更有专门的卷积神经网络(Convolutional Neural Network, CNN)，在图像领域取得了非常好的实际效果，已经把传统的图像处理的方法快干趴下了。啰啰嗦嗦说了这么多卷积，惭愧的是，好像一直以来对卷积的物理意义并不是那么清晰。一是上学时候只是简单考试，没有仔细思考过具体前后的来龙去脉。二是本身天资比较愚钝，理解能力没有到位。三则工作以后也没有做过强相关的工作，没有机会得以加深理解。趁着年前稍微有点时间，查阅了一些相关资料，力争将卷积的前世今生能搞明白。 1.知乎上排名最高的解释 首先选取知乎上对卷积物理意义解答排名最靠前的回答。 不推荐用“反转/翻转/反褶/对称”等解释卷积。好好的信号为什么要翻转？导致学生难以理解卷积的物理意义。 这个其实非常简单的概念，国内的大多数教材却没有讲透。 直接看图，不信看不懂。以离散信号为例，连续信号同理。

目录 引 主要内容 基本的一些定义 假设2.4 引理2.5 假设3.1 假设3.2 引理3.3 定理3.4 定理3.5 推论3.6 假设4.1 引理4.2 引理4.3 定理4.4 定理4.5 Proof 引理A.1 引理2.5 证明 引理3.3 定理3.4 定理3.5 推论3.6 引理4.2 引理4.3 定理4.5 Nguyen Q C, Hein M. Optimization Landscape and Expressivity of Deep CNNs[J]. arXiv: Learning, 2017. BibTex @article{nguyen2017optimization, title={Optimization Landscape and Expressivity of Deep CNNs}, author={Nguyen, Quynh C and Hein, Matthias}, journal={arXiv: Learning}, year={2017}} 引 这篇文章，主要证明，在某些不算很强的假设下，CNN的最后的损失(文中是MSE)能够达到零，而且能够满足其的网络参数的无穷多的. 另外，还有"局部"最优解都是全局最优解的特性. 证明主要用到了勒贝格积分的知识(实际上，这一部分应该算在另一篇论文上，没去看），以及更多的代数的知识. 主要内容 基本的一些定义

通信原理相关博文目录： Ŀ¼ 我们常在移动通信中遇到的卷积码就是一种非分组码，卷积码和信号处理中的卷积运算有关系吗？ 是不是就是信号处理中的卷积运算，先看看编码器的编码原理再说： 下面是一个比较实用的卷积码编码器： 它有三个移位寄存器D0,D1,D2和三个模2加法器，以及一个旋转开关组成，编码前，先将各级移位寄存器清零： 现在假设输入的信息码元是1101： 当输入的第一个码元为1时，三个模2加法器计算的结果都为1： 旋转开关在这个间隙内依次接到c1，c2，c3： 因此编码输出为111： 输入第二个码元1时，之前的码元右移一位，输出为110： 以此类推，输入码元0时，输出010： 输入最后一个码元1时，输出100： 因此输入1101，编码输出为： 111 110 010 100。 其中每一码组的监督码元都和本码组的信息码元，以及前两组的信息码元有关，也就是说本码组的监督码不仅监督本码组，而且对前面两个码组也有监督作用，这是和分组码特别不同的地方，分组码的监督码仅监督本码组的信息，所以把分组码表示成（n，k），而把卷积码表示为（n，k，m），其中n为分组长度，k为分组中的信息码元数目，m为本信息段之前的相关信息段数目，显然一个码组的监督码元监督着m+1个信息段，因此也将N=m+1称为码组的约束长度，在本例中，相关数值如下： 编码效率： 既然卷积码也有码组，为什么说它不是分组码呢？

REFERENCE: https://www.jianshu.com/p/ad528c40a08f https://www.zhihu.com/question/54504471 Notes: 离散卷积的本质是加权求和 CNN中的卷积本质上就是利用一个共享参数的过滤器（kernel），通过计算中心像素点以及相邻像素点的加权和来构成feature map实现空间特征的提取，当然加权系数就是卷积核的权重系数。 那么卷积核的系数如何确定的呢？是随机化初值，然后根据误差函数通过反向传播梯度下降进行迭代优化。这是一个关键点，卷积核的参数通过优化求出才能实现特征提取的作用，GCN的理论很大一部分工作就是为了引入可以优化的卷积参数。 CNN在Computer Vision里效果为什么好呢？原因：可以很有效地提取空间特征。 但是有一点需要注意：CNN处理的图像或者视频数据中像素点（pixel）是排列成成很整齐的矩阵。（欧几里得距离Euclidean Structure） 与之相对应，科学研究中还有很多Non Euclidean Structure的数据，如图3所示。社交网络、信息网络中有很多类似的结构。 Graph Convolutional Network中的Graph是指数学（图论）中的用顶点和边建立相应关系的拓扑图。 那么为什么要研究GCN？ 原因有三： 1)CNN无法处理Non

参考 论文笔记：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS 如何理解 Graph Convolutional Network（GCN）？ 图卷积网络(Graph Convolutional Network, GCN) 图卷积网络（Graph Convolutional Network） GCN入门理论 在看GCN前首先要理解GCN的理论基石 卷积定理 卷积定理指出 ， 函数卷积的傅立叶变换是函数傅立叶变换的乘积 。既然在图上不好做卷积，那就转换到傅立叶域里做乘积，则先对图$ f $和卷积核$ h$ 做傅立叶变换后相乘，再傅立叶逆变换回来，就得到了图域卷积。即， 傅里叶变换 传统 傅里叶变换 定义为： 其频率为$w$，基函数为$e^{-iwt}$，其中基函数满足： 其中上三角符合为 拉普拉斯算子 又广义特征方程的定义是： 所以基函数$e^{-iwt}$是变换 拉普拉斯算子 的特征函数，则我们可以做以下类比 将图拉普拉斯矩阵的特征向量作为傅里叶变换的基 ，我们可以得到在图上的傅里叶变换定义为： 推广到矩阵形式 即（$U=[u_{1},u_{2},...,u_{N}]u_{i}$是列向量） （矩阵变换细节） 我们还需得到在图上的傅里叶逆变换，传统的傅里叶逆变换是对频率$w$求积分：