卷积定理

> 近年来很多研究将nlp中的attention机制融入到视觉的研究中，得到很不错的结果，于是，论文侧重于从理论和实验去验证self-attention可以代替卷积网络独立进行类似卷积的操作，给self-attention在图像领域的应用奠定基础 论文: On the Relationship between Self-Attention and Convolutional Layers 论文地址： https://arxiv.org/abs/1911.03584 论文代码： https://github.com/epfml/attention-cnn Introduction   transformer的提出对NLP领域的研究有很大的促进作用，得益于attention机制，特别是self-attention，会考虑词间的相似性，对当前词进行加权输出。受到词间关系学习的启发，self-attention也开始用于视觉任务中，但大都是attention和convonlution的结合。Ramachandran在19年的研究中，用full attention model达到了resnet baseline的精度，模型参数和计算量相比卷积网络减轻了不少   因此，论文主要研究self-attention layer在图片处理上是否能达到convolutional layer的效果

1.概述 GoogLeNet(Inception V1)采用 模块化 结构，包括500万个参数(AlexNet参数量的十二分之一)，网络包括5层卷积层(每层由卷积层或Inception结构堆叠构成)和一个全连接层，共计 22 层。因此，在计算资源或内存有限时，GoogLeNet是比较好的选择。 论文研究目标：利用 赫布(Hebbian)定理 和 多尺度处理 直觉设计增加深度和宽度并提高计算资源利用率的稀疏网络结构； 赫布定理：神经元一起激发，一起连接(即视觉信息在不同尺度上处理然后聚合)； 评价准则：top-1错误率和top-5错误率：6.67%(取得ILSVRC2014比赛分类项目冠军)； 数据库：ILSVRC2014，预处理操作： 零均值化 。 2.网络结构 一般来说， 提升网络性能最直接的办法就是增加网络的深度和宽度，深度是指网络层次数量、宽度是指神经元数量 。但是这种方法存在以下问题： (1)参数太多，如果训练数据集有限，容易产生过拟合； (2)网络越大，参数越多，计算复杂度越大； (3)网络越深，容易出现梯度消失问题，难易优化模型。 解决上述问题的方法自然就是在增加网络深度和宽度的同时减少网络参数，那么如何 减少参数 ？ (1)使用2个3X3卷积代替1个5X5卷积，使用3个3X3卷积代替1个7X7卷积(感受野相同)； (2)通过1X1卷积降维； (3

傅立叶变换在图像处理中有非常非常的作用。因为不仅傅立叶分析涉及图像处理的很多方面，傅立叶的改进算法， 比如离散余弦变换，gabor与小波在图像处理中也有重要的分量。 印象中，傅立叶变换在图像处理以下几个话题都有重要作用： 1.图像增强与图像去噪 绝大部分噪音都是图像的高频分量，通过低通滤波器来滤除高频——噪声; 边缘也是图像的高频分量，可以通过添加高频分量来增强原始图像的边缘； 2.图像分割之边缘检测 提取图像高频分量 3.图像特征提取： 形状特征：傅里叶描述子 纹理特征：直接通过傅里叶系数来计算纹理特征 其他特征：将提取的特征值进行傅里叶变换来使特征具有平移、伸缩、旋转不变性 4.图像压缩 可以直接通过傅里叶系数来压缩数据；常用的离散余弦变换是傅立叶变换的实变换； 傅立叶变换 傅里叶变换是将时域信号分解为不同频率的正弦信号或余弦函数叠加之和。连续情况下要求原始信号在一个周期内满足绝对可积条件。离散情况下，傅里叶变换一定存在。冈萨雷斯版<图像处理>里面的解释非常形象：一个恰当的比喻是将傅里叶变换比作一个玻璃棱镜。棱镜是可以将光分解为不同颜色的物理仪器，每个成分的颜色由波长（或频率）来决定。傅里叶变换可以看作是数学上的棱镜，将函数基于频率分解为不同的成分。当我们考虑光时,讨论它的光谱或频率谱。同样,傅立叶变换使我们能通过频率成分来分析一个函数。 傅立叶变换有很多优良的性质。比如线性

昨天在公众号“原理”中“ ”一文介绍了一种数学规律突然消失的情况，即数学中的 虚幻模式。这种虚幻模式最初是由David Borwein、Jonathan Borwein父子两人在2001年发现的这种不寻常的模式。 ^Jonathan Borwein^ 这其中涉及到一个在信号处理领域中常被使用的一个函数：sinc函数，它的公式如下： 这个函数是正弦函数sin(t)除以t，是一个偶对称函数。如果函数自变量乘以一个常量因子，则会引起函数图形的尺度变化，即沿着自变量坐标轴的方向进行拉伸和压缩。下图显示了尺度动态变化的sinc函数。 虽然sinc函数是由简单的基本函数经过初等运算组成，但是它的原函数，即积分函数却不是一个初等函数。下图就是使用数值计算绘制出sinc函数的积分函数图形。从图像中可以看出，随着t趋向于正无穷，积分的值趋向于一个常量π，这说明sinc函数的面积等于π。 严格证明sinc函数的面积等于π，需要使用到 一些数学技巧，下面的连接给出了两种求取sinc函数面积的方法。 https://www.wikihow.com/Integrate-the-Sinc-Function 前面提到的“数学虚幻模式”就是研究sinc函数面积的问题。如果将sinc函数与它的拉伸三倍的函数相乘，仍然得到一个偶对称的函数，如下图所示： 那么这个相乘后的函数的面积是多少呢？ sinc函数的面积等于π

paper reading - [第一代GCN] Spectral Networks and Deep Locally Connected Networks on Graphs 图卷积的一些知识： 图卷积网络概述 graph中卷积的实现 图卷积神经网络详述 知乎一个比较不错的回答 文章目录 paper reading - [第一代GCN] Spectral Networks and Deep Locally Connected Networks on Graphs @[toc] CNN在image和audio recognition表现出色的原因 ： CNN的结构特点： 由于gird的性质，使得CNN可以有以下的特点： CNN的局限 CNN的适用范围以及GCN与GCN的联系： CNN适用范围： GCN与CNN的联系： two constructions of GCN spatial construction：hierarchical clustering of the domain 原理： 局部连接的实现： 下采样的实现： 下采样的本质： CNN的下采样： GCN的下采样： 深度局部连接的实现： 各变量的含义： 核心公式： 每层的计算结果（结合 Figure 2）： 模型评价： 优点： 缺点： spectral construction：spectrum of the graph

人工智能、机器学习及深度学习的起源和发展 发展时间线 第一阶段：人工智能起步期 1956—1980s 1956达特茅斯会议标志AI诞生 1957神经网络Perceptron被罗森布拉特发明 1970受限于计算能力，进入第一个寒冬 第二阶段：专家系统推广 1980s—1990s 1980 XCON专家系统出现，每年节约4000万美元 1986 BP ，Geoffrey Hinton提出了前馈算法，一个通过对输入数据按照重要进行排序的精准神经网络。 1989 卷积，Yann LeCun写了另外一篇旷世之作，描述了卷积神经网络。这些发现突破了计算机难以解决的问题，譬如从一张照片中找到一只猫。 1990——1991 人工智能计算机DARPA没能实现，政府投入缩减，进入第二次低谷 1997 IBM的DeepBlue战胜国际象棋冠军 1997 Schmidhuber发明了长短期记忆网络（LSTM） 第三阶段：深度学习 2000s—至今 2006 Hinton提出“深度学习”的神经网络 2011 苹果的Siri问世，技术上不断创新 2012 Google无人驾驶汽车上路（2009年宣布） 2012年，计算机视觉界顶级比赛ILSVRC中，多伦多大学Hinton团队所提出的深度卷积神经网络结构AlexNet一鸣惊人，同时也拉开了深度卷积神经网络在计算机视觉领域广泛应用的序幕。成功原因 大量数据，

A Taxonomy of Deep Convolutional Neural Nets for Computer Vision 基本信息 摘要 1. Introduction 2. Introduction to Convolutional Neural Networks 2.1. Building Blocks of CNNs 2.1.1. Why Convolutions? 2.1.2. Max-Pooling 2.1.3. Non-Linearity 2.2. Depth 2.3. Learning Algorithm 2.3.1. Gradient-Based Optimization 2.3.2. Dropout 2.4. Tricks to Increase Performance 2.5. Putting It All Together: AlexNet 2.6. Using Pre-Trained CNNs 2.6.1. Fine-Tuning 2.6.2. CNN Activations as Features 2.7. Improving AlexNet 3. CNN Flavors 3.1. Region-Based CNNs 3.2. Fully Convolutional Networks 3.3. Multi-Modal Networks 3.4.

在信号的时域分析中，最为重要的就是信号通过线性时不变系统，即时域卷积计算。先来回顾一下线性时不变系统的定义： \[ \begin{array}{l} If{\rm{ }}x(t) \Rightarrow y(t){\rm{ :}}\\ a{x_1}(t) + b{x_2}(t) \Rightarrow a{y_1}(t) + b{y_2}(t)\\ x(t - {t_0}) \Rightarrow y(t - {t_0}) \end{array} \tag{1-1} \] 物理可实现的系统绝大多数均满足线性时不变条件，与此同时还应满足稳定性条件，即 $\int_{ - \infty }^{ + \infty } {h(t)} dt < \infty $ ，输入为能量信号的情况下输出的能量是有限的。在做一些小题的时候，经常会给出 \(y(t) = f[x(t)]\) 的形式来提问，然而在实际的系统当中却很难用一个函数就轻松表征出输入和输出之间的关系，比如： 这是一个简单的RC电路，但是会发现很难用一个简单直观的函数去表征输出与输入之间的关系。当然，在电路分析中采用零状态相应+零输入响应最终求解出了该函数，实质上用的是求解非齐次线性微分方程的方法。然而这种求解的困难在于两点：1. 很难剥离输入信号用以描述系统本身的性质；2. 对于高阶电路束手无策。这里卷积主要解决的是第一个困难

数论函数 在数论上，算术函数（或称数论函数）指定义域为正整数、陪域为复数的函数，每个算术函数都可视为复数的序列。 最重要的算术函数是积性及加性函数。算术函数的最重要操作为狄利克雷卷积，对于算术函数集，以它为乘法，一般函数加法为加法，可以得到一个阿贝尔环。 ---百度百科 $ \mathbf{f}(x),x \in \mathbb{Z_+}, \mathbf{f}(x)\in C$ 就是定义域为正整数，值域是一个数集 定义数论函数运算： 两个数论函数相等，即他们的每一项都相等 加法： \((\mathbf{f}+\mathbf{g})(i) = \mathbf{f}(i)+\mathbf{g}(i)\) 数乘： \((x\mathbf{f})(i)=x\cdot \mathbf{f}(i)\) 狄利克雷卷积 狄利克雷乘积(Dirichlet product)亦称狄利克雷卷积、卷积，是数论函数的重要运算之一。设f(n)、g(n)是两个数论函数，它们的Dirichlet(狄利克雷)乘积也是一个数论函数，简记为h(n)=f(n)*g(n)。 ---百度百科 定义两个数论函数的狄利克雷卷积符号： \(\ast\) 令 \(\mathbf{t}=\mathbf{f}\ast \mathbf{g}\) 则 \(\mathbf{t}(n) = \sum\limits _{ij=n} \mathbf

作为一名苦逼工科生，《信号与系统》+《数字信号处理》是绕不过去的坎，各种让人头疼的概念与数学公式：傅里叶变化、拉普拉斯变化、Z变换、卷积、循环卷积、自相关、互相关、离散傅里叶变化、离散傅里叶时间变化…… 前一段时间在知乎发现一个有趣例子，生动形象地解释了卷积的物理意义，且解释的较为准确，下面，正文来了： 比如说你的老板命令你干活，你却到楼下打台球去了，后来被老板发现，他非常气愤，扇了你一巴掌（注意，这就是输入信号，脉冲），于是你的脸上会渐渐地（贱贱地）鼓起来一个包，你的脸就是一个系统，而鼓起来的包就是你的脸对巴掌的响应，好，这样就和信号系统建立起来意义对应的联系。 下面还需要一些假设来保证论证的严谨：假定你的脸是线性时不变系统，也就是说，无论什么时候老板打你一巴掌，打在你脸的同一位置（这似乎要求你的脸足够光滑，如果你说你长了很多青春痘，甚至整个脸皮处处连续处处不可导，那难度太大了，我就无话可说了哈哈），你的脸上总是会在相同的时间间隔内鼓起来一个相同高度的包来，并且假定以鼓起来的包的大小作为系统输出。好了，那么，下面可以进入核心内容——卷积了！ 如果你每天都到地下去打台球，那么老板每天都要扇你一巴掌，不过当老板打你一巴掌后，你5分钟就消肿了，所以时间长了，你甚至就适应这种生活了……如果有一天，老板忍无可忍，以0.5秒的间隔开始不间断的扇你的过程，这样问题就来了