alexnet网络结构

这篇论文的作者包括Alex Krizhevsky，Ilya Sutskever 和Geoffrey E. Hinton，三人均来自于多伦多大学计算机科学院，其中，前两者都是Hinton的学生，Hinton就不多说了，和Yoshua Bengio以及Yann LeCun共同获得了2018年图灵奖。下面我们来看一下这篇论文《ImageNet Classification with Deep Convolutional Neural Networks》。 我主要从论文的性能提升方面，和训练提速方面进行介绍。 1、ReLU 论文并没有使用标准的tanh函数和sigmoid函数 而是使用了Rectified Linear Unit，即ReLU 结果也是显而易见的 使用ReLU(实线)的四层卷积神经网络在CIFAR-10上达到25%的训练错误率，比使用tanh(虚线)神经元的等效网络快六倍。每个网络的学习率是独立选择的，以使训练尽可能快。没有采用任何形式的正规化。这里所演示的效果的大小随着网络架构的不同而不同，但是使用ReLUs的网络始终比使用饱和神经元的网络学习速度快几倍。 为什么ReLU比tanh和sigmoid收敛速度快呢，我们来具体看一下几个函数 sigmoid tanh ReLU 从图像上可以看出，sigmoid和tanh在饱和区域非常平缓

NIPS （神经信息处理系统进展大会） 读哪些东西？ 论文背景 成果及其意义 未来的研究趋势 Auto L 自动的设计网络结构 softmax 可以将数值变成概率分布 再与 label 交叉熵 softmax 可以将负数变为正数 加起来概率和为1 交叉熵数值越大说明越不接近。。。 fc8 未归一化的概率分布。。。 第一个计算公式 除不尽的时候进行下取整 第二和第三个 除不尽的时候上取整 F为特征图的尺寸 k卷积核尺寸 卷积核通道数 Kc Foc 输出特征图的通道数 输入图片大小为 227 227 3 包含了96个大小为 11*11通道数为3的卷积核 卷积核的通道数等于输入map的通道数 所以是3 方式为valid parameters =(卷积核尺寸 * 卷积核通道 *+ 1) * 特征图通道数 因为之前GPU性能不够 所以分开来进行处理， 再将其进行了 合并操作 concate Alexnet应为包含了很多权重参数因此很容易过拟合 所以训练的时候采用了数据增强处理 来源： CSDN 作者： hzzDeeplearning 链接： https://blog.csdn.net/weixin_44400401/article/details/104031192

译者按： 祖师爷Hinton 带领的小组经典之作，深度学习开山祖师 Hinton率领的谷歌团队多次夺冠 ，主力成员为 hinton 在多伦多大学的学生 Alex Krizhevsky ， Ilya Sutskever ， 因此他们的解决方案也叫alexnet ， 这篇文章是hinton大神团队的代表性之作，CNN （卷积神经网络）已经成为图像识别处理的标准，alexnet作为CNN的代表性方案基础，开创性的GPU计算卷积 ， 仿生视觉细胞的局部感受野等手段解决了图像处理的难题， 和同期的VGG、ResNet、GoogleNet等比肩，使得图像识别成为了人工智能的最成功领域。 ImageNet是一个计算机视觉系统识别项目，缔造者为斯坦福大学教授李飞飞 ，是目前图像识别最大的数据库。是美国斯坦福的计算机科学家，模拟人类的识别系统建立的。能够从图片识别物体。ImageNetLSVRC图像识别大赛素有国际“计算机视觉奥林匹克“之称。数据集包含大约1000多万张各种图片，被分为1000个分类，参赛者训练分类器，在测试数据上取得最高辨识正确率者为优胜。 原文地址： http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks 作者 ： University of

一.网络结构 　　AlexNet由5层卷积层和3层全连接层组成。 　　论文中是把网络放在两个GPU上进行，为了方便我们仅考虑一个GPU的情况。 　　上图中的输入是 224 × 224 224×224，不过经过计算 ( 224 − 11 ) / 4 = 54.75 (224−11)/4=54.75并不是论文中的 55 × 55 55×55，而使用 227 × 227 227×227作为输入， 　　卷积层C1：处理流程为：卷积、ReLU、LRN、池化、 　　　　卷积：输入为227x227x3，使用96个11x11x3的卷积核，步长为4x4，得到FeatureMap为55x55x96 　　　　池化：3x3最大池化，步长为2，得到27x27x96的FeatureMap 　　卷积层C2: 处理流程为：卷积、ReLU、LRN、池化 　　　　卷积：输入为27x27x96，使用256个5x5x96的卷积核(padding = 2)，步长为1x1，得到FeatureMap为27*27*256 　　　　池化：3x3最大池化，步长为2，得到13x13x26的FeatureMap 　　卷积层C3: 处理流程为：卷积、ReLU 　　　　卷积： 输入为13x13x256，使用384个3x3x256的卷积核(padding = 1)，，步长为1x1，得到13x13x384的FeatureMap 　　卷积层C4:

　　AlexNet网络是由5个卷积层和3个全连接层构成 下面这个是一个平面图，可能会更好看一些： 1 2 3 4 5 6 7 8 9 10 11 一、 字母解析： 1、s：(stride)步伐的意思，表示每次跨几个像素点 　　（例：s = 1则表示第一次最左上角取(1,1)这个点，往后走两步，下一次的左上角取(1,3)这个点） 2、pad：(padding)补充的意思，就是在原来图片的基础上在外面补充几行（列） 　　（例：pad = 2，则表示在原来图片的基础上两边补两列，上下分别补两行，补的数据全部为0） 3、f：(filter)过滤器的意思，在池化的时候会用到 　　（例： f = 3，表示这个过滤器为3*3大小，在AlexNet中采取最大池化，所以就会将3*3区域内的数据取最大值替代该区域） 4、pooling：池化 5、FC：全连接 二、过程解析： 1、卷积过程，用96个11*11大小的卷积核去卷积该数据，所以卷积完应该有96张特征图，每张特征图的大小为55*55（(227-11)/4+7=55），使用ReLu作为激活函数 2、降采样，也称池化，采用最大池化方式（PM），因为过滤器为3*3，没有进行补充，所以最后池化完的大小为27*27（(55-3)/2+1=27） 3、卷积过程，共有256个卷积核，所以卷积完后共有256个特征图，卷积核大小为5*5，步伐为1，补充2行和2列