googlenet

1. 首先输入： net = googlenet; 出现报错信息： 错误使用 googlenet>iTripwireImageNetGoogLeNet (line 88) googlenet requires the Deep Learning Toolbox Model for GoogLeNet Network support package. To install this support package, use the Add-On Explorer. 出错 googlenet (line 64) net = iTripwireImageNetGoogLeNet(); 2. 点击下划线 Add-On Explorer 可以进去模块下载页面 2.1 点击安装 弹出mathwork账号登陆页面，我的页面很小，需要账号登陆，去官网可以很容易的免费注册； 登陆之后，就开始下载了，因为外网原因，下载很慢，也很可能失败，反正失败了只能重来一次；坚持是胜利； 博主也是下载了两遍才成功： 好了，现在就不报错了： 来源： CSDN 作者： 拦路雨g 链接： https://blog.csdn.net/lanluyug/article/details/103996439

ResNet, AlexNet, VGG, Inception: 理解各种各样的CNN架构 本文翻译自 ResNet, AlexNet, VGG, Inception: Understanding various architectures of Convolutional Networks ， 原作者保留版权 卷积神经网络在视觉识别任务上的表现令人称奇。好的CNN网络是带有上百万参数和许多隐含层的“庞然怪物”。事实上，一个不好的经验规则是：网络越深，效果越好。AlexNet，VGG，Inception和ResNet是最近一些流行的CNN网络。为什么这些网络表现如此之好？它们是如何设计出来的？为什么它们设计成那样的结构？回答这些问题并不简单，但是这里我们试着去探讨上面的一些问题。网络结构设计是一个复杂的过程，需要花点时间去学习，甚至更长时间去自己动手实验。首先，我们先来讨论一个基本问题： 为什么CNN模型战胜了传统的计算机视觉方法？ 图像分类指的是给定一个图片将其分类成预先定义好的几个类别之一。图像分类的传统流程涉及两个模块： 特征提取 和 分类 。 特征提取 指的是从原始像素点中提取更高级的特征，这些特征能捕捉到各个类别间的区别。这种特征提取是使用无监督方式，从像素点中提取信息时没有用到图像的类别标签。常用的传统特征包括GIST, HOG, SIFT, LBP等。特征提取之后

# **权值共享方法** 在同一特征图和不同通道特征图都使用共享权值，这样的卷积参数是最少的，例如上一层为30*30*40，当使用3*3*120的卷积核进行卷积时，卷积参数为：3*3*120个.(卷积跟mlp有区别也有联系一个神经元是平面排列，一个是线性排列) 第二种只在同一特征图上使用共享权值，根据上面的例子，则卷积参数为：3*3*40*120. 权值共享 CNN中权值共享理解 借用前人的介绍： (1) 针对一个神经元，例如一幅640*360图像，一个神经元要对应640*360个像素点，即一个神经元对应全局图像，全连接的话一个神经元就有640*360个参数； (2) 图像的空间联系是局部的，就像人是通过一个局部的感受野去感受外界图像一样，每一个神经元都不需要对全局图像做感受，每个神经元只感受局部的图像区域，然后在更高层，将这些不同局部的神经元综合起来就可以得到全局信息。假如每个局部感受野10 10，每个局部感受野只需要和10 10的局部图像连接，这样一个神经元就只需要10*10个参数； (3) 全局图像是640 360，但局部图像只有10 10大小，10 10个参数只针对局部图像，如果全局图像中各个局部图像之间权值共享的话，即10 10个参数在不同局部图像上参数应用相同的话，则在全局图像上通过全局共享则只需要10*10个参数； (4) 10 10个参数只针对一个神经元

《Going deeper with convolutions》 2014，Google，GoogLeNet（向早期的LeNet致敬），Inception V1 Google Inception Net首次出现在ILSVRC 2014的比赛中（和VGGNet同年），就以较大的优势取得了第一名。它最大的特点是控制了计算量和参数量的同时，获得了非常好的分类性能―top5的错误率6.67%。Inception V1有22层深，比AlexNet的8层或者VGGNet的19层还要更深，但其计算量和参数量仅为AlexNet的1/12，却可以达到远胜于AlexNet的准确率。 （1）Inception V1降低参数量的目的有两点，第一，参数越多模型越庞大，需要供模型学习的数据量就越大，而目前高质量的数据非常昂贵；第二参数越多，耗费的计算资源也会更大。 （2）Inception V1参数少但效果好的原因除了模型层数更深、表达能力更强外，还有两点：一是去除了最后的全连接层，用全局池化层（即将图片尺寸变为1*1）来取代它。全连接层几乎占据了AlexNet或VGGNet中90%的参数量，而且会引起过拟合，去除全连接层后模型训练更快并且减轻了过拟合。二是Inception V1中精心设计的Inception Module提高了参数的利用效率。 1.动机和思考: 一般来说

回顾 简单的浅层神经网络，如三层的卷积神经网络等，在层数比较少的时候，有时候效果往往并没有那么好，在实验过程中发现，当尝试增加网络的层数，或者增加每一层网络的神经元个数的时候，对准确率有一定的提升，简单的说就是增加网络的深度与宽度，但这样做有两个明显的 缺点 ： 更深更宽的网络意味着更多的参数，提高了模型的复杂度，从而大大增加过拟合的风险，尤其在训练数据不是那么多或者某个label训练数据不足的情况下更容易发生； 增加计算资源的消耗，实际情况下，不管是因为数据稀疏还是扩充的网络结构利用不充分（比如很多权重接近0），都会导致大量计算的浪费。 解决以上两个问题的基本方法是将全连接或卷积连接改为稀疏连接。不管从生物的角度还是机器学习的角度，稀疏性都有良好的表现，如AlexNet网络提出的Dropout网络以及ReLU激活函数，其本质就是利用稀疏性提高模型泛化性（但需要计算的参数没变少）。 简单解释下稀疏性，当整个特征空间是非线性甚至不连续时： 学好局部空间的特征集更能提升性能，类似于Maxout网络中使用多个局部线性函数的组合来拟合非线性函数的思想； 假设整个特征空间由N个不连续局部特征空间集合组成，任意一个样本会被映射到这N个空间中并激活/不激活相应特征维度，如果用C1表示某类样本被激活的特征维度集合，用C2表示另一类样本的特征维度集合，当数据量不够大时

卷积神经网络（ CNN ） 1.1 二维卷积层 卷积神经网络是含有卷积层的神经网络，均使用最常见的二维卷积层，它有高和宽两个空间维度，常用来处理图像数据。 1.1.1 二维互相关运算 在二维卷积层中，一个二维输入数组和一个二维核数组通过互相关运算输出一个二维数组。 输入一个高和宽均为3的二维数组，核数组的高和宽均为2，核数组在卷积计算中又称卷积核或过滤器，卷积核窗口（卷积窗口）的形状取决于卷积核的高和宽。 1.1.2 二维卷积层 二维卷积层将输入和卷积核做互相关运算，并加上一个标量偏差来得到输出。卷积层的模型参数包括卷积核与标量偏差。在训练模型时，通常先对卷积核随机初始化，然后不断迭代卷积核与偏差。 卷积窗口形状为p x q的卷积层称为p x q卷积层，说明卷积核的高和宽分别为p和q。 1.1.3 图像中物体边缘检测 卷积层的简单应用：检测图像中物体的边缘，即找到像素变化的位置。卷积层可以通过重复使用卷积核有效的表征局部空间。 1.1.4 通过数据学习核数组 例子：使用物体边缘检测中的输入数据x，输出数据y，来构造核数组k。首先构造一个卷积层，将卷积核初始化成随机数组，在每一次迭代中，使用平方误差来比较Y和卷积层的输出，然后计算梯度来更新权重。 1.15 特征图和感受野 特征图：二维卷积层输出的二维数组可以看做是输入在空间维度（宽和高）上某一级的表征。 感受野

摘要简介 Inception深度卷积神经网络架构，这种架构提升利用计算机内部资源，增加网络的深度和网络的宽度，但是不增加计算量。 优化质量以Hebbian理论和多尺度直觉为基础。 随着深度学习和神经网络的发展，目标分类和检测的能力显著提高。其一是GoogLeNet参数使用更少，并且结果更加准确。第二点是考虑到算法效率，电力和内存的使用，考虑这个得出本文的深度框架设计。 计算机视觉深度神经网络架框Inception。 Serre使用了一系列固定大小的Gabor滤波器来处理多尺度，相反，Inception结构中所有的滤波器都是学习到的。 在Network-in-Network中大量运用了1 1的卷积。我们也使用1 1的卷积来作为降维模块来移除卷积瓶颈，否则会限制网络的大小。不仅允许深度的增加，还允许了宽度的增加，没有造成明显的性能损失。 R-CNN将检测问题分为2个子问题：利用低层次的信号例如颜色，纹理以跨类别的方式来产生目标位置候选区域，然后用CNN分类器来识别那些位置上的对象类别。 思想及方法 提高神经网络性能是增加宽度和深度。造成了俩个缺点，第一是更大的尺寸意味着更多的参数，使增大的网络更加容易过拟合。第二是计算资源的显著增加。解决方法为引入稀疏性并将全连接层替换成稀疏的全连接层，甚至是卷积层。 Arora主要成果说明如果数据集的概率分布可以通过一个大型稀疏的深度神经网络表示

　　自己搭建神经网络时，一般都采用已有的网络模型，在其基础上进行修改。从2012年的AlexNet出现，如今已经出现许多优秀的网络模型，如下图所示。 主要有三个发展方向： 　　　　Deeper：网络层数更深，代表网络VggNet 　　　　Module： 采用模块化的网络结构（Inception），代表网络GoogleNet 　　　　Faster: 轻量级网络模型，适合于移动端设备，代表网络MobileNet和ShuffleNet 　　　　Functional: 功能型网络，针对特定使用场景而发展出来。如检测模型YOLO，Faster RCNN；分割模型FCN， UNet 　　其发展历史可以分为三个阶段： 　　这些模型在ImageNet上的表现效果对比如下： 　　 1. LeNet-5 　　LeNet-5是LeCun在1998年的论文中 Gradient-Based Learning Applied to Document Recognition 提出的网络模型，其结构如下：（其中卷积为5*5的kernel，下采样为2*2的MaxPooling），其结构比较简单，关于LeNet-5结构设计的详细分析，参见： 参考一 ， 参考二 2. AlexNet 　　AlexNet是Alex Krizhevsky在2012的文章ImageNet Classification with Deep

GoogleNet 学习笔记 ​ 上一篇blog介绍了简洁优美的resnet，这一篇介绍一下相对复杂的GoogleNet 提出背景 ​ GoogleNet的提出是在2014年，当时大多数网络都追求深度，但是看如下几幅图片 ​ 在利用CNN识别出图中的小狗时，势必要为每个卷积层选择合适的kernel size。但是上面几幅图中小狗的位置都不相同，大小也不一样，利用单一的卷积核大小显然不合理。比如第一张就应该用较大的卷积核，第三张就应该用较小的卷积核。 ​ 问题出现了，解决方法很快就被想出。何不在一个卷积层上储备多个不同大小的卷积核呢，与其增加深度，不如增加宽度，想法看起来很自然。 解决方案 ​ 论文中提出的解决方案叫做 Inception 模块，下面我们随着其发展顺序逐一介绍 Inception v1 ​ 下图就是最原始的Inception模块。它没有使用单一的卷积核，而是使用了3个不同大小的滤波器，此外还有一条路执行max pooling操作。这四条路的输出最后会被级联起来传至下一个模块 ​ 此外，在执行3*3或5*5的卷积操作之前，先进行1*1的卷积。这样做的目的是减少channel数量。降低计算成本。 GoogleNet ​ 最初的GoogleNet就是建立在Inception v1的基础上，其一共有9个线性堆叠的Inception模块。 ​ 这样一个网络也很深，也会遭受

回顾 简单的浅层神经网络，如三层的卷积神经网络等，在层数比较少的时候，有时候效果往往并没有那么好，在实验过程中发现，当尝试增加网络的层数，或者增加每一层网络的神经元个数的时候，对准确率有一定的提升，简单的说就是增加网络的深度与宽度，但这样做有两个明显的 缺点 ： 更深更宽的网络意味着更多的参数，提高了模型的复杂度，从而大大增加过拟合的风险，尤其在训练数据不是那么多或者某个label训练数据不足的情况下更容易发生； 增加计算资源的消耗，实际情况下，不管是因为数据稀疏还是扩充的网络结构利用不充分（比如很多权重接近0），都会导致大量计算的浪费。 解决以上两个问题的基本方法是将全连接或卷积连接改为稀疏连接。不管从生物的角度还是机器学习的角度，稀疏性都有良好的表现，如AlexNet网络提出的Dropout网络以及ReLU激活函数，其本质就是利用稀疏性提高模型泛化性（但需要计算的参数没变少）。 简单解释下稀疏性，当整个特征空间是非线性甚至不连续时： 学好局部空间的特征集更能提升性能，类似于Maxout网络中使用多个局部线性函数的组合来拟合非线性函数的思想； 假设整个特征空间由N个不连续局部特征空间集合组成，任意一个样本会被映射到这N个空间中并激活/不激活相应特征维度，如果用C1表示某类样本被激活的特征维度集合，用C2表示另一类样本的特征维度集合，当数据量不够大时