rcnn

目标检测 rcnn：根据颜色等特征，将图像分为许多小区域（一般情况下颜色相同的都是一类物体） 合并区域，然后进行区域内的物体检测 即到卷积中进行预测（每个框一个卷积网络） 缺点：找到的框太多 fast-rcnn:整张图片卷积得到特征图 图片映射到特征图， faster-rcnn:RPN 层，根据标注中框的位置，让卷积网络自己学习框应该在哪 （在特征图上提取框） 怎么学习？ 有基数128,256,512，3种方式 对于一个像素点生成9个框，以他为中心 128 256,256 128,128 128 256 512,512 256,256 256 512 512,512 1024,1024*512 来源： https://www.cnblogs.com/Dean0731/p/11961902.html

本篇文章主要是用来学习 大工程的构造， 具体包括如何进行 init和forward ，如何层层递进，高层设置输入，传入底层的input中。 从train_val.py中的初始化vgg开始，这里调用了vgg的初始化，嵌套faster_rcnn初始化，再内嵌套调用rpn初始化，调anchor_target_layer/prosal_layer的初始化。 其中faster_rcnn的forward函数中，利用self调用了顶层vgg的函数，如base_feat = self.RCNN_base(im_data)，这里返回了基础rcnn之后的共享卷进层。而RCNN_base的定义则是在vgg的_init_modules(self)当中。注意到在train_val.py中应当先是执行了vgg的_init_modules(self)，再进行fasterRCNN的传入数据，因为fasterRCNN的forward需要vgg当中的init_modules. init调用层次 从trian_val.py开始： fasterRCNN = vgg16 (imdb.classes, pretrained=True, class_agnostic=args.class_agnostic)#调用的 vgg的init 再看 vgg的init，vgg里的self是第一层的self class vgg16(

需要准备三个路径： 1、一个是进行测试时所使用的那些图片，找到其路径 2、result.txt所在的路径 3、生成图像的存放路径 1 #!/usr/bin/env python 2 3 4 from __future__ import absolute_import 5 from __future__ import division 6 from __future__ import print_function 7 8 import _init_paths 9 from model.config import cfg 10 from model.test import im_detect 11 from model.nms_wrapper import nms 12 13 from utils.timer import Timer 14 import tensorflow as tf 15 import matplotlib.pyplot as plt 16 from PIL import Image 17 import numpy as np 18 import os, cv2 19 import argparse 20 21 22 from nets.vgg16 import vgg16 23 from nets.resnet_v1 import resnetv1 24 25

在目标检测的研究过程中，深度学习一直占居着主要的位置。通过搭建不同的网络模型，对当前两大主流开源数据集PASCALVOC和IMAGENET进行测试，已然成了一种新风向。 作为计算机视觉三大顶会：CVPR，ICCV，ECCV，每年都会有该方向的最新成果。 接下来汇总一下，以便需要时查看： 2014 ----------------------------------------------------------------- RCNN 58.5 CVPR(2014) SPPNET 59.2 ECCV(2014) ----------------------------------------------------------------- 2015 ----------------------------------------------------------------- Fast-RCNN 70 ICCV(2015) Faster-RCNN 73.2 NIPS(2015) ----------------------------------------------------------------- 2016 ----------------------------------------------------------------- YOLOv1 66.4

一、研究意义 卷积神经网络（CNN）由于其强大的特征提取能力，近年来被广泛用于计算机视觉领域。1998年Yann LeCun等提出的LeNet-5网络结构，该结构使得卷积神经网络可以端到端的训练，并应用于文档识别。LeNet-5结构是CNN最经典的网络结构，而后发展的卷积神经网络结构都是由此版本衍生而来。 在过去六年中，由于深度学习和卷积网络的发展和进步，基于图像的目标检测和分类能力已经大大提高。而目标检测是计算机视觉领域一个重要的研究方向，是众多高级任务的必备前提，包括场景理解，事件识别等。目前，目标检测也广泛用于安全监控，自动驾驶，人机交互，增强现实等众多领域。目标检测对计算机视觉和产业界实际应用都有十分重要的意义。 然而, 由于视角、遮挡、姿态等因素引起目标发生形变, 导致目标检测成为一个具有挑战性的任务。设计高准确率高效率的目标检测算法仍具有重大意义。 二、研究现状 如今, 基于卷积神经网络的目标检测已经超越传统目标检测方法, 成为当前目标检测的主流方法。本文根据卷积神经网络的使用方式，将基于卷积神经网络的目标检测分为两大类: 基于分类的卷积神经网络目标检测和基于回归的卷积神经网络目标检测。 1. 基于分类的卷积神经网络目标检测 基于分类的CNN也可以成为two-stage检测算法，传统目标检测方法包含预处理、窗口滑动、特 征提取、特征选择、特征分类、后处理等步骤

准备使用faster-rcnn进行检测实验。同时笔者也做了mask-rcnn，yolo-v3,ssd的实验，并进行对比。 window下使用faster-rcnn https://blog.csdn.net/qq_38497266/article/details/86234055 错误信息 https://blog.csdn.net/gbbb1234/article/details/73865148 https://blog.csdn.net/baidu_32936911/article/details/79865659 来源： https://www.cnblogs.com/bob-jianfeng/p/11194414.html

SPP全称为Spatial Pyramid Pooling，即空间金字塔池化，听名字就知道是对RCNN的一种变形，目的是为了解决RCNN输入图像的大小固定（224*224）的问题，因为真实照片中的物体的大小并不都一样，对图像就行wrap或者切割，不可避免会造成图像的失真，从而增大运算结果的误差。 SPP与RCNN最大的不同就是SPP使用了一个全连接层，而不进行微调，并且计算region propsal时使用了多个region，从而只计算一次，避免了RCNN中的重复计算。 1、结构比较： 2、RCNN固定输入的原因： 理论上说 conv layers （卷积层） 可以接受任意大小的输入，RCNN固定输入的限制来源于fc layers（全连接层） 3、SPP的来源 SPP其实很早就应用在CV领域，通过 或粗或细的 4、SPP的迭代训练 SPP训练的时候，不是一次输入多个尺寸的图片，而是采用了一个近似的方法，SPP进行多次迭代，每次迭代的时候输入不同的尺寸，但是参数保持一致，从而获得近似结果。 5、extract features RCNN通过深度卷积网络提取每个候选区域的特征，但是因为一张图片要计算几千个（RCNN是2000）候选区域的特征，每区域的像素是224*224，因此当图片数据比较多时，计算量会特别大。 而SPP每个Window只进行一次卷积计算，从而速度相对于RCNN来说

首先要安装 caffe 和 pycaffe，安装过程可参考我的 上一篇博文 在安装并运行 Faster R-CNN demo，训练和测试自己的 VOC 数据集中也出现了各种各样的问题，但大多数问题都是因为 Faster R-CNN 本身和其他各种依赖项之间的兼容问题，大概是因为我安装的 CUDA，cuDNN 等其他一些依赖项的版本比较高造成的。 Faster R-CNN 安装并运行 demo 其 Github 上也有比较详细的安装过程可供参考， 传送门 ： 1. 下载 Faster R-CNN，编译 Cython 模块 git clone -- recursive https : // github.com/rbgirshick/py-faster-rcnn.git cd py - faster - rcnn / lib make 2. 创建 Makefile.config 文件，打开并修改，修改方式和 Caffe 中的修改方式一样，可参考我的 上一篇博文 cd py - faster - rcnn / caffe - fast - rcnn cp Makefile . config . example Makefile . config 替换 py-faster-rcnn/caffe-fast-rcnn/include/caffe/util 里的 cudnn.hpp 为最新版

转载请注明： http://blog.csdn.net/forest_world 二、FSRCNN开发环境搭建： faster -rcnn : matlab版本ShaoqingRen/faster_rcnn: Faster R -CNN rbg提供的python版本rbgirshick/py -faster -rcnn 1 2 3 4 5 git clone https://github.com/LMDB/lmdb Cloning into 'lmdb' ... remote: Counting objects: 7201 , done. remote: Total 7201 (delta 0 ), reused 0 (delta 0 ), pack-reused 7201 Receiving objects: 100 % ( 7201 / 7201 ), 1.40 MiB | 7.00 KiB/s, done. Resolving deltas: 100 % ( 3097 / 3097 ), done. Checking connectivity... done. 1 2 3 4 5 6 7 sudo make install https://github.com/rbgirshick/fast-rcnn.git make make -j8 && make pycaffe

论文大部分转载自：https://blog.csdn.net/WZZ18191171661/article/details/79439212 论文题目 ： Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 论文链接 ： 论文链接 论文代码 ：Matlab版本 点击此处 ，Python版本 点击此处 作为一个目标检测领域的baseline算法， Faster-rcnn 值得去仔细理解里面的细节 按照 总分总 的顺序剖析。 图2 Faster-rcnn架构图（精简版） 图3 Faster-rcnn架构图（细节版） 一、目标检测的总体框架 图4 目标检测框架图 观察图4，你可以发现目标检测的框架中包含4个关键模块，包括region proposal（生成ROI）、feature extraction（特征提取网络）、classification（ROI分类）、regression（ROI回归）。而faster-rcnn利用一个神经网络将这4个模块结合起来，训练了一个端到端的网络。通过观察图1、图2、图3，我们可以得到如下的结论：Faster-rcnn主要包括4个关键模块， 特征提取网络、生成ROI、ROI分类、ROI回归 。 特征提取网络