特征金字塔(FPN)的学习过程

匿名 (未验证) 提交于 2019-12-02 23:34:01

1、作者将不改变feature map大小的层归为一个stage

2、图像的混叠现象:“所谓混叠,即高于采样频率一半的高频信号被映射到信号的低频部分,与原有低频信号叠加,对信号的完整性和准确性产生影响”

采样频率必须大于原始信号最高频率的两倍,才能完整地还原原始信号,这就是著名的尼奎斯特定律。

有两种方法可以消除混叠现象:

一是直接提高采样频率,以获得更高的尼奎斯特频率,但是采样频率不能无限提高;

二是在采样频率固定的情况下,可通过低通滤波器消除大于尼奎斯特频率的高频信号,从而消除混叠现象。

学习自:https://www.cnblogs.com/doctorbill/articles/3820088.html

3、亚采样:亚采样层就是使用pooling技术将小邻域内的特征点整合得到新的特征

4、aps,apm,apl:分别表示对小目标,中目标,大目标的平均准确度。

5、FPN算法的“新路历程”:

转载自:(原文:https://blog.csdn.net/WZZ18191171661/article/details/79494534)

识别不同大小的物体是计算机视觉中的一个基本挑战,我们常用的解决方案是构造多尺度金字塔。

如上图a所示,这是一个特征图像金字塔,整个过程是先对原始图像构造图像金字塔,然后在图像金字塔的每一层提出不同的特征,然后进行相应的预测(BB的位置)。这种方法的缺点是计算量大,需要大量的内存;优点是可以获得较好的检测精度。它通常会成为整个算法的性能瓶颈,由于这些原因,当前很少使用这种算法。

如上图b所示,这是一种改进的思路,学者们发现我们可以利用卷积网络本身的特性,即对原始图像进行卷积和池化操作,通过这种操作我们可以获得不同尺寸的feature map,这样其实就类似于在图像的特征空间中构造金字塔。实验表明,浅层的网络更关注于细节信息,高层的网络更关注于语义信息,而高层的语义信息能够帮助我们准确的检测出目标,因此我们可以利用最后一个卷积层上的feature map来进行预测。这种方法存在于大多数深度网络中,比如VGG、ResNet、Inception,它们都是利用深度网络的最后一层特征来进行分类。这种方法的优点是速度快、需要内存少。它的缺点是我们仅仅关注深层网络中最后一层的特征,却忽略了其它层的特征,但是细节信息可以在一定程度上提升检测的精度。

因此有了图c所示的架构,它的设计思想就是同时利用低层特征和高层特征,分别在不同的层同时进行预测,这是因为我的一幅图像中可能具有多个不同大小的目标,区分不同的目标可能需要不同的特征,对于简单的目标我们仅仅需要浅层的特征就可以检测到它,对于复杂的目标我们就需要利用复杂的特征来检测它。整个过程就是首先在原始图像上面进行深度卷积,然后分别在不同的特征层上面进行预测。它的优点是在不同的层上面输出对应的目标,不需要经过所有的层才输出对应的目标(即对于有些目标来说,不需要进行多余的前向操作),这样可以在一定程度上对网络进行加速操作,同时可以提高算法的检测性能。它的缺点是获得的特征不鲁棒,都是一些弱特征(因为很多的特征都是从较浅的层获得的)。

(讲了这么多终于轮到我们的FPN啦)

它的架构如图d所示,整个过程如下所示,首先我们在输入的图像上进行深度卷积,然后对Layer2上面的特征进行降维操作(即添加一层1x1的卷积层),对Layer4上面的特征就行上采样操作,使得它们具有相应的尺寸,然后对处理后的Layer2和处理后的Layer4执行加法操作(对应元素相加),将获得的结果输入到Layer5中去。其背后的思路是为了获得一个强语义信息,这样可以提高检测性能。认真的你可能观察到了,这次我们使用了更深的层来构造特征金字塔,这样做是为了使用更加鲁棒的信息;除此之外,我们将处理过的低层特征和处理过的高层特征进行累加,这样做的目的是因为低层特征可以提供更加准确的位置信息,而多次的降采样和上采样操作使得深层网络的定位信息存在误差,因此我们将其结合其起来使用,这样我们就构建了一个更深的特征金字塔,融合了多层特征信息,并在不同的特征进行输出。这就是上图的详细解释。(个人观点而已)

6、fpn用于fast rcnn

转载整理自:https://blog.csdn.net/wfei101/article/details/79301881

ROI Pooling层,需要对不同层级的金字塔制定不同尺度的ROI。不同尺度的ROI,使用不同特征层作为ROI pooling层的输入,大尺度ROI就用后面一些的金字塔层,比如P5;小尺度ROI就用前面一点的特征层,比如P4。那怎么判断ROI改用哪个层

的输出呢?这里作者定义了一个系数Pk,通常,我们将宽度为w、高度为h的RoI(在输入到网络的图像上)分配给特征金字塔的Pk级

224*224是标准的预训练图片的大小,K0是224*224的roi层被映射到的层。类比使用resnet模型的faster rcnn系统,使用C4作为单尺度的特征图,设k0=4。如果ROI的尺度更小,例如是112*112,则k=向下取整(4+log2(112/224))=3,(第三层的特征金字塔)尺度更为精细的一层。

文章来源: https://blog.csdn.net/html5baby/article/details/90312100
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!