resnet

最近在学习廖老师的pytorch教程，学到Resnet 这部分着实的烧脑，这个模型都捣鼓了好长时间才弄懂，附上我学习过程中最为不解的网络的具体结构连接（网上一直没有找到对应网络结构，对与一个自学的学渣般的我，很是无奈，所以搞懂后我就...分享给有需要的的你了） 我们先大致了解一下残差模型 ResNet在2015年被提出，在ImageNet比赛classification任务上获得第一名，因为它“简单与实用”并存，之后很多方法都建立在ResNet50或者ResNet101的基础上完成的，检测，分割，识别等领域都纷纷使用ResNet，Alpha zero也使用了ResNet，所以可见ResNet确实很好用。 下面我们从实用的角度去看看ResNet。 1.ResNet意义 随着网络的加深，出现了 训练集 准确率下降的现象，我们可以确定 这不是由于Overfit过拟合造成的 (过拟合的情况训练集应该准确率很高)；所以作者针对这个问题提出了一种全新的网络，叫深度残差网络，它允许网络尽可能的加深，其中引入了全新的结构如图1； 这里问大家一个问题 残差指的是什么 ？ 其中ResNet提出了两种mapping：一种是identity mapping，指的就是图1中”弯弯的曲线”，另一种residual mapping，指的就是除了”弯弯的曲线“那部分，所以最后的输出是 y=F(x)+x

深度学习——分类之ResNeXt 论文： Aggregated Residual Transformations for Deep Neural Networks 作者：Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, Kaiming He ImageNet Top5错误率：3.03% 中心思想：Inception那边把ResNet拿来搞了Inception-ResNet，这头ResNet也把Inception拿来搞了一个ResNeXt，主要就是单路卷积变成多个支路的多路卷积，不过分组很多，结构一致，进行分组卷积。 卷积的范式 作者一上来先归纳了Inception的模式：split-transform-merge。 如下图所示，先将输入分配到多路，然后每一路进行转换，最后再把所有支路的结果融合。 少不了要提一下Inception的缺点，太复杂了，人工设计的痕迹太重了。 然后，站得更高，分析了神经网络的标准范式就符合这样的split-transform-merge模式。以一个最简单的普通神经元为例（比如FC中的每个神经元）： 就是先对输入的m个元素，分配到m个分支，进行权重加权，然后merge求和，最后经过一个激活。 由此归纳出神经网络的一个通用的单元可以用如下公式表示： 结合ResNet的identity映射

Table of contents Introduction Tutorials Survey papers Benchmark datasets Fine-grained image recognition Fine-grained recognition by localization-classification subnetworks Fine-grained recognition by end-to-end feature encoding Fine-grained recognition with external information Fine-grained recognition with web data / auxiliary data Fine-grained recognition with multi-modality data Fine-grained recognition with humans in the loop Fine-grained image retrieval Unsupervised with pre-trained models Supervised with metric learning Fine-grained image generation Generating from fine-grained image

LeNet-5 ： input：输入图片，32*32像素； C1：5*5卷积核，生成6个feature maps，共需要（6*5*5 + 6）=156个参数； S2：2*2个像素相加，然后乘以一个参数，加上一个偏置，共计2*6=12个参数； C3：5*5卷积核，生成16个feature maps，每个feature map由S2中若干个feature maps卷积得到，如图Table1所示； S4：和S2相同的操作，共计16*2 = 32个参数； C5：与S4全连接，共计（5*5*16*120+120）=48120个参数； F6：与C5全连接，共计（120*84+84） = 10164 个参数； output: 与F6全连接。 附:下图是keras自动生成的网络图,正如图所示在平均池化层中是没有参数的。这与Le net原始论文不同。 Alex net: VGGNet： 堆叠多个小的卷积核而不使用池化操作可以增加网络的表征深度，同时限制参数的数量。 vgg16和vgg19都有5个block块，每个block块有一个MaxPooling2D，是特征图缩小两倍。共缩小32倍。卷机层与全连接层相连接时先进行了扁平化处理，然后连接看了两个4096的全连接，最后再接一个softmax分类函数。如果不加全连接层，在keras中会对特征进行全局平均池化以防止过拟合。 优点： 1.参数量减少了 81

AlexNet VGGNet Inception ResNet ResNet, AlexNet, VGG, Inception: 理解各种各样的CNN架构 文章来源: 深度学习（图像分类）---ResNet, AlexNet, VGG, Inception: 理解各种各样的CNN架构

ResNet在2015年被提出，在ImageNet比赛classification任务上获得第一名，因为它“简单与实用”并存，之后很多方法都建立在ResNet50或者ResNet101的基础上完成的，检测，分割，识别等领域都纷纷使用ResNet，Alpha zero也使用了ResNet，所以可见ResNet确实很好用。 下面我们从实用的角度去看看ResNet。 1.ResNet意义 随着网络的加深，出现了 训练集 准确率下降的现象，我们可以确定 这不是由于Overfit过拟合造成的 (过拟合的情况训练集应该准确率很高)；所以作者针对这个问题提出了一种全新的网络，叫深度残差网络，它允许网络尽可能的加深，其中引入了全新的结构如图1； 这里问大家一个问题 残差指的是什么 ？ 其中ResNet提出了两种mapping：一种是identity mapping，指的就是图1中”弯弯的曲线”，另一种residual mapping，指的就是除了”弯弯的曲线“那部分，所以最后的输出是 y = F ( x ) + x identity mapping顾名思义，就是指本身，也就是公式中的 x ，而residual mapping指的是“ 差 ”，也就是 y x ，所以残差指的就是 F ( x ) 部分。 为什么ResNet可以解决“随着网络加深，准确率不下降”的问题？ 除了实验证明外： 表1

新智元编译 最近，物体识别已经成为计算机视觉和AI最令人激动的领域之一。即时地识别出场景中所有的物体的能力似乎已经不再是秘密。随着卷积神经网络架构的发展，以及大型训练数据集和高级计算技术的支持，计算机现在可以在某些特定设置（例如人脸识别）的任务中超越人类的识别能力。 我感觉每当计算机视觉识别方面有什么惊人的突破发生了，都得有人再讲一遍是怎么回事。这就是我做这个图表的原因。它试图用最简洁的语言和最有吸引力的方式讲述物体识别的现代史。故事开始于2012年AlexNet赢得了ILSVRC（ImageNet大规模视觉识别挑战赛）。信息图由2页组成，第1页总结了重要的概念，第2页则勾画了历史。每一个图解都是重新设计的，以便更加一致和容易理解。所有参考文献都是精挑细选的，以便读者能够知道从哪里找到有关细节的解释。 计算机视觉6大关键技术 图像分类：根据图像的主要内容进行分类。数据集：MNIST,CIFAR,ImageNet物体定位：预测包含主要物体的图像区域，以便识别区域中的物体。数据集：ImageNet物体识别：定位并分类图像中出现的所有物体。这一过程通常包括：划出区域然后对其中的物体进行分类。数据集：PASCAL,COCO语义分割：把图像中的每一个像素分到其所属物体类别，在样例中如人类、绵羊和草地。数据集：PASCAL,COCO实例分割：把图像中的每一个像素分到其物体类别和所属物体实例

来自博客： https://www.jianshu.com/p/ca6bee9eb888 设计初衷：残差结构是为了解决网络退化的问题提出的，梯度消失/爆炸已经通过 normalized initialization 等方式得到解决。 1. 学习结果对 网络权重的波动 变化更加敏感。 设 input :x , output :y , 待学习的 layer 参数为 w, 在 w 的改变增量一致时， H(x) 和 F(x) 分别改变 9% 和 100 %， 在引入残差结构后，网络权重的轻微变化就引起了教大的输出变化，所以，如果想要得到好的输出结构，必须小心的调整权重。 2.残差结果对 数据的波动 更加敏感。 文章来源: https://blog.csdn.net/qxqsunshine/article/details/90319784

图像分类 本教程源代码目录在 book/image_classification ,初次使用请您参考 Book文档使用说明 。 # 说明: 1.硬件环境要求： 本文可支持在CPU、GPU下运行 2.Docker镜像支持的CUDA/cuDNN版本： 如果使用了Docker运行Book，请注意：这里所提供的默认镜像的GPU环境为 CUDA 8/cuDNN 5，对于NVIDIA Tesla V100等要求CUDA 9的 GPU，使用该镜像可能会运行失败。 3.文档和脚本中代码的一致性问题： 请注意：为使本文更加易读易用，我们拆分、调整了train.py的代码并放入本文。本文中代码与train.py的运行结果一致，可直接运行 train.py 进行验证。 # 背景介绍 图像相比文字能够提供更加生动、容易理解及更具艺术感的信息，是人们转递与交换信息的重要来源。在本教程中，我们专注于图像识别领域的一个重要问题，即图像分类。 图像分类是根据图像的语义信息将不同类别图像区分开来，是计算机视觉中重要的基本问题，也是图像检测、图像分割、物体跟踪、行为分析等其他高层视觉任务的基础。图像分类在很多领域有广泛应用，包括安防领域的人脸识别和智能视频分析等，交通领域的交通场景识别，互联网领域基于内容的图像检索和相册自动归类，医学领域的图像识别等。 一般来说