深度学习——分类之ResNeXt 论文: Aggregated Residual Transformations for Deep Neural Networks 作者:Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, Kaiming He ImageNet Top5错误率:3.03% 中心思想:Inception那边把ResNet拿来搞了Inception-ResNet,这头ResNet也把Inception拿来搞了一个ResNeXt,主要就是单路卷积变成多个支路的多路卷积,不过分组很多,结构一致,进行分组卷积。 卷积的范式 作者一上来先归纳了Inception的模式:split-transform-merge。 如下图所示,先将输入分配到多路,然后每一路进行转换,最后再把所有支路的结果融合。 少不了要提一下Inception的缺点,太复杂了,人工设计的痕迹太重了。 然后,站得更高,分析了神经网络的标准范式就符合这样的split-transform-merge模式。以一个最简单的普通神经元为例(比如FC中的每个神经元): 就是先对输入的m个元素,分配到m个分支,进行权重加权,然后merge求和,最后经过一个激活。 由此归纳出神经网络的一个通用的单元可以用如下公式表示: 结合ResNet的identity映射