googlenet

目录 　　 使用非对称卷积分解大filters 　　 重新设计pooling层 　　 辅助构造器 　　 使用标签平滑 　　 参考资料 在《 深度学习面试题20：GoogLeNet(Inception V1) 》和《 深度学习面试题26：GoogLeNet(Inception V2) 》中对前两个Inception版本做了介绍，下面主要阐述V3版本的创新点 使用非对称卷积分解大filters InceptionV3中在网络较深的位置使用了非对称卷积，他的好处是在不降低模型效果的前提下，缩减模型的参数规模，在《 深度学习面试题27：非对称卷积(Asymmetric Convolutions) 》中介绍过。 end_point = 'Mixed_6d' with tf.variable_scope(end_point): with tf.variable_scope('Branch_0'): branch_0 = slim.conv2d(net, depth(192), [1, 1], scope='Conv2d_0a_1x1') with tf.variable_scope('Branch_1'): branch_1 = slim.conv2d(net, depth(160), [1, 1], scope='Conv2d_0a_1x1') branch_1 = slim.conv2d

目录 　　 简介 　　 网络结构 　　 对应代码 　　 网络说明 　　 参考资料 简介 2014年，GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄，GoogLeNet获得了第一名、VGG获得了第二名，这两类模型结构的共同特点是层次更深了。VGG继承了LeNet以及AlexNet的一些框架结构，而GoogLeNet则做了更加大胆的网络结构尝试，虽然深度只有22层，但大小却比AlexNet和VGG小很多，GoogleNet参数为500万个，AlexNet参数个数是GoogleNet的12倍，VGGNet参数又是AlexNet的3倍，因此在内存或计算资源有限时，GoogleNet是比较好的选择；从模型结果来看，GoogLeNet的性能却更加优越。 GoogLeNet是谷歌（Google）研究出来的深度网络结构，为什么不叫“GoogleNet”，而叫“GoogLeNet”，是为了向“LeNet”致敬，因此取名为“GoogLeNet” GoogLeNet团队要打造一个Inception模块（名字源于盗梦空间），让深度网络的表现更好。 返回目录 网络结构 PS：Slim是2016年开发出来的，即使在InceptionV1中，他也没有使用论文里说的5*5的卷积核，而是用的3*3的卷积核。 返回目录 对应代码 这里采用的官网的代码tensorflow/models

李飞飞和它的团队搜集了ImageNet一个超过15 million的图像数据集，大约有22,000类。这个文件集合对深度卷积网络极大地推进深度学习各领域的发展. ILSVRC是对ImageNet进行分类,检测,定位的比赛,作为最具影响力的竞赛它的作用功不可没，从中也促使了许多经典工作。 ImageNet的定位结果 年 网络/队名 val top-5 test top-5 备注 2012 AlexNet 34.19% 多伦多大学Hinton和他学生 2012 AlexNet 33.55% 用了2011年的数据 2013 OverFeat 30.0% 29.87% 纽约大学Lecun团队 2014 GoogleNet 26.44% 谷歌 2014 VGG 26.9% 25.32% 牛津大学 2015 ResNet 8.9% 9.02% 微软 2016 Trimps-Soushen 7.71% 公安三所，以Inception, resNet, WRN等为基础 2017 DPN 6.23% 新加坡国立大学与奇虎360 ImageNet的检测结果 年 网络/队名 mAP(%) 备注 2013 OverFeat 19.40 使用了12年的分类数据预训练 2013 UvA 22.58 2013 OverFeat 24.3 赛后。使用了12年的分类数据预训练 2014 GoogleNet 43

4.1 LeNet-5 4.1.1 模型介绍 ​LeNet-5是由$LeCun$ 提出的一种用于识别手写数字和机器印刷字符的卷积神经网络（Convolutional Neural Network，CNN）$^{[1]}$，其命名来源于作者$LeCun$的名字，5则是其研究成果的代号，在LeNet-5之前还有LeNet-4和LeNet-1鲜为人知。LeNet-5阐述了图像中像素特征之间的相关性能够由参数共享的卷积操作所提取，同时使用卷积、下采样（池化）和非线性映射这样的组合结构，是当前流行的大多数深度图像识别网络的基础。 4.1.2 模型结构 ​ 图4.1 LeNet-5网络结构图 ​ 如图4.1所示，LeNet-5一共包含7层（输入层不作为网络结构），分别由2个卷积层、2个下采样层和3个连接层组成，网络的参数配置如表4.1所示，其中下采样层和全连接层的核尺寸分别代表采样范围和连接矩阵的尺寸（如卷积核尺寸中的$“5\times5\times1/1,6”$表示核大小为$5\times5\times1$、步长为$1​$且核个数为6的卷积核）。 ​ 表4.1 LeNet-5网络参数配置 | 网络层 | 输入尺寸 | 核尺寸 | 输出尺寸 | 可训练参数量 | | :-------------: | :------------------: | :----------------------