论文笔记:2018 PRCV 顶会顶刊墙展
Global Gated Mixture of Second-order Pooling for Imporving Deep Convolutional Neural Network(2018 NIPS,大工李培华组) 论文motivation : (1) 现存的池化 :一阶GAP(全局均值池化)是很多CNN结构的标配,有研究者提出高阶池化来提高性能 (2) 缺点 :但是这些池化都有个缺点就是假设了样本服从了单峰分布,限制了CNN的表达能力。 (3) 论文的改进 :于是论文提出了基于二阶池化的门混合结构来提高CNN对复杂特征和多模态分布的建模。 论文贡献 : (1) 提出了门混合结构 :在最后一层之前,适应性地从N个分组模型中选择K个模型来生成最后的特征表示。 (2) 提出了带参数的二阶池化 :在N个分组模型中使用了池化层,为了克服一阶GAP和二阶池化带来的局限性,提出了带参数的二阶池化。 (3) 实验 :在下采样的ImageNet-1K和Places365两个数据集上跑了实验,以ResNet和WRN为骨架,发现加入本文的模型后能够提高准确率。 架构解释 (1) 门混合模型 :受hinton在ICLR2017的一篇论文“专家混合模型”启发,提出了如下图所示的结构。对于最后一层之前的输入X,自适应地从N个CM(组件模型)选择K个CM来让X流入,其它分支都关闭