将不同类别的CNN方法进行总结（只选取部分经典模型）

#写在查找文献之前。因为自己实在是太小白了，无论对深度学习还是生医图像，要在短短时间内解决问题可真不容易啊。简直是，两眼一抹黑Orz 无可奈何，只好慢慢来呗......此算我第一篇在CSDN上的笔记，如果有总结的不对的地方不知道会不会有路过的大神捞起＋提示啊QAQ。。。好，话不多说，从此开始写日记↓#

第一个总结：来自公众号的科普https://www.jiqizhixin.com/articles/2019-01-25-6

根据架构修改的类型，CNN 可以大致分为 7 类：基于空间利用、深度、多路径、宽度、通道提升、特征图利用和注意力的 CNN。

下面，我对其中几种相对知名的架构进行总结。

其中有对此篇总结的参考的摘录：https://www.cnblogs.com/skyfsm/p/8451834.html

1.1基于空间利用的 CNN（spatial exploitation based CNNs）

此类CNN 考虑输入像素的邻域（局部性），可以使用不同大小的滤波器来探索不同级别的相关性。

LeNet：LeNet-5出自论文Gradient-Based Learning Applied to Document Recognition，是一种用于手写体字符识别的非常高效的卷积神经网络。

这张想必就是搜索CNN最常得到的图啦（我在最初学习时也看到了它）。其中，-5表示具有5个层，conv1->pool->conv2->pool2->全连接层

AlexNet: AlexNet在2012年ImageNet竞赛中以超过第二名10.9个百分点的绝对优势一举夺冠，从此深度学习和卷积神经网络名声鹊起.

AlexNet架构的前面5层是卷积层，后面三层是全连接层，最终softmax输出是1000类

VGG-Nets：由牛津大学VGG（Visual Geometry Group）提出，是2014年ImageNet竞赛定位任务的第一名和分类任务的第二名的中的基础网络。

由上图（VGG-16的网络结构）看出，VGG-16的结构非常整洁，包含多个conv->conv->max_pool这类的结构。VGG-Nets用到的卷积核的尺寸都是1×1和3×3的小卷积核来替代大的filter尺寸。

[3×3卷积核的优点：1.多个3×3的卷基层比一个大尺寸filter卷基层有更多的非线性，使得判决函数更加具有判决性 2.多个3×3的卷积层比一个大尺寸的filter有更少的参数；1*1卷积核的优点：在不影响输入输出维数的情况下，对输入进行线性形变，然后通过Relu进行非线性处理，增加网络的非线性表达能力。]

GoogLeNet：在2014的ImageNet分类任务上击败了VGG-Nets夺得冠军。

GoogLeNet在加深网络的同时（22层），也在网络结构上做了创新，引入Inception结构代替了单纯的卷积+激活的传统操作。

GoogLeNet网络结构中有3个LOSS单元，这样的网络设计是为了帮助网络的收敛。在中间层加入辅助计算的LOSS单元，目的是计算损失时让低层的特征也有很好的区分能力，从而让网络更好地被训练。GoogLeNet将后面的全连接层全部替换为简单的全局平均pooling，在最后参数会变的更少。

1.1基于多路径的 CNN（multi-paths based CNNs）

ResNet：2015年何恺明推出的ResNet在ISLVRC和COCO上横扫所有选手，获得冠军，是一个里程碑式的创新。

上图展示了两种形态的残差模块，左图是常规残差模块，有两个3×3卷积核卷积核组成；右图的“瓶颈残差模块”（bottleneck residual block）可以有更好的效果，它依次由1×1、3×3、1×1这三个卷积层堆积而成，这里的1×1的卷积能够起降维或升维的作用，从而令3×3的卷积可以在相对较低维度的输入上进行，以达到提高计算效率的目的。

DenseNet：CVPR 2017最佳论文DenseNet，论文中提出的DenseNet（Dense Convolutional Network）主要还是和ResNet及Inception网络做对比，思想上有借鉴，但却是全新的结构。