卷积积分

卷积神经网络(CNN)之一维卷积、二维卷积、三维卷积详解

你离开我真会死。 提交于 2020-03-27 01:27:28
1、卷积的数学意义   从数学上讲,卷积与加减乘除一样是一种运算,其运算的根本操作是将两个函数的其中一个先平移,然后再与另一个函数相称后的累加和。这个运算过程中,因为涉及到积分、级数的操作,所以看起来很复杂。在 卷积(转自wiki百科) 中已经讲过了卷积的定义如下所示: 对于定义在连续域的函数,卷积定义为 对于定义在离散域的函数,卷积定义为   这里令U(x,y) = f(x)g(y) ,考虑到函数 f 和 g 应该地位平等,即变量 x 和 y 应该地位平等,一种可取的办法就是沿直线 x+y = t将U(x,y)卷起来。下面为t取实际值的时候的坐标图,可以看到不同取值的t可以遍历整个平面。   将x+y=t中t取一次定值(这个定值可能是我们想要知道的某时刻的结果或着某种特征,由我们赋值),代入到U(x,y)中,就相当于U(x,y)所在平面沿着x+y=t直线做一次旋转如下列动图所示:   这里便是完成了整个卷积的降维过程,完成降维过程后,U(x,y)也就从一个二元函数 U(x,y) = f(x)g(y) 被卷成一元函数 V(x)=f(x)g(t-x),最后再对x求积分(即遍历降维后的轴上的特征点之和)。 2、卷积的C语言编写   编写卷积的程序,需要根据其离散方程组来进行了解。前面已经知道了卷积的离散函数的定义公式为:    在用C语言等其他语言进行实现是可以采用定义

零基础入门深度学习(三):卷积神经网络基础之初识卷积

北城余情 提交于 2020-02-27 09:27:19
课程名称 | 零基础入门深度学习 授课讲师 | 孙高峰 百度深度学习技术平台部资深研发工程师 授课时间 | 每周二、周四晚20:00-21:00 编辑整理 | 孙高峰 内容来源 | 百度飞桨深度学习集训营 出品平台 | 百度飞桨 01 导读 本课程是百度官方开设的零基础入门深度学习课程,主要面向没有深度学习技术基础或者基础薄弱的同学,帮助大家在深度学习领域实现从0到1+的跨越。从本课程中,你将学习到: 深度学习基础知识 numpy实现神经网络构建和梯度下降算法 计算机视觉领域主要方向的原理、实践 自然语言处理领域主要方向的原理、实践 个性化推荐算法的原理、实践 本周为开讲第三周,百度深度学习技术平台部资深研发工程师孙高峰,开始讲解深度学习在计算机视觉方向实践应用。今天为大家带来的是卷积神经网络基础之初识卷积。 02 计算机视觉概述 计算机视觉作为一门让机器学会如何去“看”的科学学科,具体的说,就是让机器去识别摄像机拍摄的图片或视频中的物体,检测出物体所在的位置,并对目标物体进行跟踪,从而理解并描述出图片或视频里的场景和故事,以此来模拟人脑视觉系统。因此,计算机视觉也通常被叫做机器视觉,其目的是建立能够从图像或者视频中“感知”信息的人工系统。 计算机视觉技术经过几十年的发展,已经在交通(车牌识别、道路违章抓拍)、安防(人脸闸机、小区监控)、金融(刷脸支付、柜台的自动票据识别)、医疗

通俗易懂的理解卷积

余生长醉 提交于 2020-02-26 14:54:58
教科书上一般定义函数 ​的卷积如下: 连续形式: ​​离散形式:​ 并且也解释了,先对g函数进行翻转,相当于在数轴上把g函数从右边褶到左边去,也就是卷积的“卷”的由来。 然后再把g函数平移到n,在这个位置对两个函数的对应点相乘,然后相加,这个过程是卷积的“积”的过程。 这篇文章主要想解释两个问题: 卷积这个名词是怎么解释?“卷”是什么意思?“积”又是什么意思? 卷积背后的意义是什么,该如何解释? ## 考虑的应用场景 为了更好地理解这些问题,我们先给出两个典型的应用场景: 信号分析 一个输入信号f(t),经过一个线性系统(其特征可以用单位冲击响应函数g(t)描述)以后,输出信号应该是什么?实际上通过卷积运算就可以得到输出信号。 图像处理 输入一幅图像f(x,y),经过特定设计的卷积核g(x,y)进行卷积处理以后,输出图像将会得到模糊,边缘强化等各种效果。 对卷积的理解 对卷积这个名词的理解: 所谓两个函数的卷积,本质上就是先将一个函数翻转,然后进行滑动叠加。 在连续情况下,叠加指的是对两个函数的乘积求积分,在离散情况下就是加权求和,为简单起见就统一称为叠加。 整体看来是这么个过程: 翻转——>滑动——>叠加——>滑动——>叠加——>滑动——>叠加…多次滑动得到的一系列叠加值,构成了卷积函数。 卷积的“卷”,指的的函数的翻转,从 g(t) 变成 g(-t) 的这个过程;同时,“卷

卷积神经网络之图像

拈花ヽ惹草 提交于 2020-02-18 07:21:34
**今天,我们来正式讲计算机视觉里面一个非常非常广泛的网络,叫做 卷积神经网络 ,可以说卷积神经网络是现在计算机视觉的一个核心的概念,再讲卷积神经网络用于图片处理之前, 首先我们来看一下图片是怎么表示的? 我们现在来看一个Minist的图片, 我们之前已经接触过了,他是一个28行乘以28列的一个这样的数据,我们用一个矩阵来表示这个矩阵的每一个元素,要么是零,要么是一。然后这个矩阵的每一个元素代表了当前这个像素点的一个数值,因为当前的minist他是一个黑白图片,因此我们只使用了一张这样的值来表达。每一张表的这个点表达了这个图片的灰度值,他是从0到255的这样一个数值,我们也可以把它变换到一个0到1的范围之内,就比如说,0代表是全白,1代表的是全黑,因此他就变成了一个0到1的,这样的浮点数数组,我们在做Deep Learning的时候,一般的是使用0到1的这个范围,但是数据存储的时候,他可能会存储到0-255,因此我们把它加载进来的时候会把它除以一个255,这样的分数会使得它的范围变到0到1的这个区间。 自然界更常见的是彩色的图片对于彩色的图片,我们如果忽略他的α通道的话,那就是一个rgb的数值,因此,我们使用三张表了存储,每一张表存储了这张图片的RGB三个通道的每个数值,每个数值也是0到255或者是0到1以后我们讲的图片都是归一化成0到1的这个区间来看, 在表达一张彩色图片的时候

虚幻模式

白昼怎懂夜的黑 提交于 2020-02-01 17:50:58
昨天在公众号“原理”中“ ”一文介绍了一种数学规律突然消失的情况,即数学中的 虚幻模式。这种虚幻模式最初是由David Borwein、Jonathan Borwein父子两人在2001年发现的这种不寻常的模式。 ^Jonathan Borwein^ 这其中涉及到一个在信号处理领域中常被使用的一个函数:sinc函数,它的公式如下: 这个函数是正弦函数sin(t)除以t,是一个偶对称函数。如果函数自变量乘以一个常量因子,则会引起函数图形的尺度变化,即沿着自变量坐标轴的方向进行拉伸和压缩。下图显示了尺度动态变化的sinc函数。 虽然sinc函数是由简单的基本函数经过初等运算组成,但是它的原函数,即积分函数却不是一个初等函数。下图就是使用数值计算绘制出sinc函数的积分函数图形。从图像中可以看出,随着t趋向于正无穷,积分的值趋向于一个常量π,这说明sinc函数的面积等于π。 严格证明sinc函数的面积等于π,需要使用到 一些数学技巧,下面的连接给出了两种求取sinc函数面积的方法。 https://www.wikihow.com/Integrate-the-Sinc-Function 前面提到的“数学虚幻模式”就是研究sinc函数面积的问题。如果将sinc函数与它的拉伸三倍的函数相乘,仍然得到一个偶对称的函数,如下图所示: 那么这个相乘后的函数的面积是多少呢? sinc函数的面积等于π

卷积神经网络学习(一)

回眸只為那壹抹淺笑 提交于 2019-12-28 15:41:40
一、卷积的物理意义 卷积的重要的物理意义是:一个函数(如:单位响应)在另一个函数(如:输入信号)上的加权叠加。 在输入信号的每个位置,叠加一个单位响应,就得到了输出信号。这正是单位响应是如此重要的原因。 二、卷积的另外解释 比如说你的老板命令你干活,你却到楼下打台球去了,后来被老板发现,他非常气愤,扇了你一巴掌(注意,这就是输入信号,脉冲),于是你的脸上会渐渐地(贱贱地)鼓起来一个包,你的脸就是一个系统,而鼓起来的包就是你的脸对巴掌的响应,好,这样就和信号系统建立起来意义对应的联系。下面还需要一些假设来保证论证的严谨:假定你的脸是线性时不变系统,也就是说,无论什么时候老板打你一巴掌,打在你脸的同一位置(这似乎要求你的脸足够光滑,如果你说你长了很多青春痘,甚至整个脸皮处处连续处处不可导,那难度太大了,我就无话可说了哈哈),你的脸上总是会在相同的时间间隔内鼓起来一个相同高度的包来,并且假定以鼓起来的包的大小作为系统输出。好了,那么,下面可以进入核心内容——卷积了! 如果你每天都到地下去打台球,那么老板每天都要扇你一巴掌,不过当老板打你一巴掌后,你5分钟就消肿了,所以时间长了,你甚至就适应这种生活了……如果有一天,老板忍无可忍,以0.5秒的间隔开始不间断的扇你的过程,这样问题就来了,第一次扇你鼓起来的包还没消肿,第二个巴掌就来了,你脸上的包就可能鼓起来两倍高,老板不断扇你

关于卷积的血腥实例、本质及物理意义

柔情痞子 提交于 2019-12-28 15:41:07
作为一名苦逼工科生,《信号与系统》+《数字信号处理》是绕不过去的坎,各种让人头疼的概念与数学公式:傅里叶变化、拉普拉斯变化、Z变换、卷积、循环卷积、自相关、互相关、离散傅里叶变化、离散傅里叶时间变化…… 前一段时间在知乎发现一个有趣例子,生动形象地解释了卷积的物理意义,且解释的较为准确,下面,正文来了: 比如说你的老板命令你干活,你却到楼下打台球去了,后来被老板发现,他非常气愤,扇了你一巴掌(注意,这就是输入信号,脉冲),于是你的脸上会渐渐地(贱贱地)鼓起来一个包,你的脸就是一个系统,而鼓起来的包就是你的脸对巴掌的响应,好,这样就和信号系统建立起来意义对应的联系。 下面还需要一些假设来保证论证的严谨:假定你的脸是线性时不变系统,也就是说,无论什么时候老板打你一巴掌,打在你脸的同一位置(这似乎要求你的脸足够光滑,如果你说你长了很多青春痘,甚至整个脸皮处处连续处处不可导,那难度太大了,我就无话可说了哈哈),你的脸上总是会在相同的时间间隔内鼓起来一个相同高度的包来,并且假定以鼓起来的包的大小作为系统输出。好了,那么,下面可以进入核心内容——卷积了! 如果你每天都到地下去打台球,那么老板每天都要扇你一巴掌,不过当老板打你一巴掌后,你5分钟就消肿了,所以时间长了,你甚至就适应这种生活了……如果有一天,老板忍无可忍,以0.5秒的间隔开始不间断的扇你的过程,这样问题就来了

卷积神经网络

匆匆过客 提交于 2019-12-28 15:40:29
先简单理解一下卷积这个东西。 (以下转自https://blog.csdn.net/bitcarmanlee/article/details/54729807 知乎是个好东西) 1.知乎上排名最高的解释 首先选取知乎上对卷积物理意义解答排名最靠前的回答。 不推荐用“反转/翻转/反褶/对称”等解释卷积。好好的信号为什么要翻转?导致学生难以理解卷积的物理意义。 这个其实非常简单的概念,国内的大多数教材却没有讲透。 直接看图,不信看不懂。以离散信号为例,连续信号同理。 已知x[0] = a, x[1] = b, x[2]=c 已知y[0] = i, y[1] = j, y[2]=k 下面通过演示求x[n] * y[n]的过程,揭示卷积的物理意义。 第一步,x[n]乘以y[0]并平移到位置0: 第二步,x[n]乘以y[1]并平移到位置1 第三步,x[n]乘以y[2]并平移到位置2: 最后,把上面三个图叠加,就得到了x[n] * y[n]: 简单吧?无非是平移(没有反褶!)、叠加。 从这里,可以看到卷积的重要的物理意义是:一个函数(如:单位响应)在另一个函数(如:输入信号)上的加权叠加。 重复一遍,这就是卷积的意义:加权叠加。 对于线性时不变系统,如果知道该系统的单位响应,那么将单位响应和输入信号求卷积,就相当于把输入信号的各个时间点的单位响应 加权叠加,就直接得到了输出信号。 通俗的说:

多项式fft、ntt、fwt 总结

|▌冷眼眸甩不掉的悲伤 提交于 2019-12-16 06:53:08
做了四五天的专题,但是并没有刷下多少题。可能一开始就对多项式这块十分困扰,很多细节理解不深。 最简单的形式就是直接两个多项式相乘,也就是多项式卷积,式子是$N^2$的。多项式算法的过程就是把卷积做一种变换,在变换后各系数相称得到新系数。其实这一步变换的构造过程挺深奥的,并不是很会。对于多项式卷积的变换就是点值。于是就有了快速变换这样的算法。 细节问题出过很多。边界的问题容易弄错。一般如果是两个N项多项式相乘,得到的是一个$2*N-1$项的多项式,这是存在系数的,只不过一般我们只要N项的结果,所以做fft、ntt的时候总项数从$2*N$开始计算。其实这样解释比较牵强,但是原理的解释我并不清楚,稍感性理解。 多项式卷积应该化成类似i+j=k的形式,其实差值为k也是可以卷积的(翻转一个序列,这样得到的结果序列也是反的)。 fwt处理位运算形式的卷积,同样分治法。位运算是针对下标的,分治的时候考虑好左右两半的子答案的贡献。 多项式全家桶,基础是求导、积分。有时候一些式子不是直接两个相乘得到另一个,可能还要先求出逆元再变回去。这时候用到的就是关于多项式的各种运算。 具体的题目好多是和卷积、“各种数和各种反演”有关,把式子化成卷积形式进行优化。 没有时间写每个题解了,做题也很少,好多东西还没学。这块综合了不少东西,前置内容就有很多。 可能多项式要咕一大截了,难受。 来源: https:/

如何通俗易懂地解释卷积

不打扰是莪最后的温柔 提交于 2019-12-15 16:09:57
从数学上讲,卷积就是一种运算。 某种运算,能被定义出来,至少有以下特征: 抽象的,符号化的 在生活中,科研中有着广泛的应用 比如加法: a + b a+b a + b ,是抽象的,本身只是一个数学符号 在现实中,有非常多的意义,比如增加、合成、旋转等等 卷积,是我们学习高等数学之后,新接触的一种运算,因为涉及到积分、级数,所以看起来觉得很复杂。 1. 卷积的定义 我们称 ( f ∗ g ) ( n ) (f*g)(n) ( f ∗ g ) ( n ) 为f,g的卷积 其连续的定义为: ( f ∗ g ) ( n ) = ∫ − ∞ ∞ f ( τ ) g ( n − τ ) d τ (f*g)(n)=\int^{\infin}_{-\infin}f(\tau)g(n-\tau)d\tau ( f ∗ g ) ( n ) = ∫ − ∞ ∞ ​ f ( τ ) g ( n − τ ) d τ 其离散的定义为: ( f ∗ g ) ( n ) = ∑ τ = − ∞ ∞ f ( τ ) g ( n − τ ) (f*g)(n)=\sum^{\infin}_{\tau=-\infin}f(\tau)g(n-\tau) ( f ∗ g ) ( n ) = τ = − ∞ ∑ ∞ ​ f ( τ ) g ( n − τ ) 这两个式子有一个共同的特征: 这个特征有什么意义? 我们令 x =