发表：2019.3.21 CVPR
MobileNet_v1遗留问题：简单的直筒结构性价比低可以复用图像特征提升网络的性价比、depthwise的卷积核比普通Conv的维度低在经过ReLU操作后会带来大量损失
方法：Linear Bottlenecks、Inverted residuals
参考博客1
参考博客2
参考博客3
一、Linear Bottlenecks
作者认为满足感兴趣流形区域(manifold of interest)坐落在高维激活空间的低维子空间的条件下：
感兴趣流形区域在ReLU之后保持了非0，相当于线性转换。
ReLU能够保持输入流性的完整性。
（这一部分没有搞清楚）
此处线性瓶颈就是在原基础上去掉最后一层的ReLU，因为特征经过高维向低维的变换后再经过ReLU会带来很大的损失，ReLU对低维特征的变换带来的损失要比高维大很多。第三张图是本文采取的模块，此处有一个疑问就是原本用可分离卷积是为了减少计算量，但是此时因为可分离卷积的特性需要将通道扩大这样不会又带来更多的计算吗，一增一减带来的效益如何呢。是因为计算量都集中在了1×1的点卷积上所以即使扩大了3×3的通道数带来的计算量也不会特别大吗？
二、Inverted residuals
瓶颈实际上包含所有必要的信息，倒残差在瓶颈之间直接使用shortcut，扩张层仅仅作为一个伴随张量非线性变换的实现细节。
三、网络架构
b图的MobileNet模型架构采用的深度可分离卷积，c图的ShuffleNet模型架构用了组卷积、通道混洗和残差结构，d图的MobileNet_v2采用的倒残差和线性瓶颈，将MobileNet_v1的直筒结构改成了残差结构提高了特征复用，倒残差形状像柳叶状两边窄中间粗目的是增加中间层的通道数，线性瓶颈则是直接去掉MobileNet_v1最后一层的ReLU。
c表示输出特征图的channel，nn表示层的重复次数，ss表示stride。使用ReLU6作为非线性，因为在低精度下运算下比较鲁棒。输出是全卷积而非 softmax，k 就是识别目标的类别数目
来源：CSDN
作者：负债少女
链接：https://blog.csdn.net/m0_37953242/article/details/104469228