无监督图像检索 《Unsupervised Part-based Weighting Aggregation of Deep Convolutional Features...》

匿名 (未验证) 提交于 2019-12-03 00:36:02

基于部件的CNN特征加权聚合的无监督图像检索


该文提出了一种利用卷积神经网络中的 filters 作为部件检测器,采用无监督方式选择部件检测器的图像特征提取方法,属于特征聚合方法,用于图像检索领域。代码在:点击打开链接

特征聚合方法一般用于具有不同个数的局部特征(如SIFT)的图像特征表示。卷积神经网络的全连接层得到的分类特征维数是固定的,无需进行特征聚合,以及其他特征聚合方法如WoF,VLAD,FV类方法,它们都忽视了物体各个部件的所具有的判别性能力。


文章重点不在重现这个效果,而是将该性质用来分别表达物体的各个部件的特征,从而提出一种新的特征聚合方法。【我看到这篇文章是被Unsupervised 一词吸引的】,下面着重分析其unsupervised是怎么做的。


Unsupervised part detector selection

1. 训练阶段。采用预训练好的模型(如ImageNet VGG16)跑inference,得到所有图像的某个feature map。如上图所示,假设分类数为C,那么输出层一共有C个通道,HxW大小,【根据前面性质,每个通道对应一个类别】,那么计算出一张图像的每个通道特征,得到所有图像C个通道后,计算每个通道的平均值及各个通道的方差,将方差降序排列,选出方差最大的前N个通道(why?)作为部件检测器。从而所有图像的部件可表示为一个 HxWxN 的特征图(N<C)。该特征图就是“probabilistic proposal”,它是归一化了的。


2. 后处理阶段。为了减少维度,对于N个C维向量采用l2-normalization, PCA降维以及白化操作,将特征压缩到M维。从而查询图像可以表示为一个M维的向量。

得到的mAP结果如下:


点评:

1. 整篇文章利用CNN的各个通道对物体各部件响应不同的性质,提出probabilistic proposal,然后对未知图像的特征图做特征聚合,避免采用全连接层特征时忽略物体部件表达能力的问题,感觉利用这个性质设计出一种新算法挺有意思的。

2. 文章标题声称的“unsupervised part-based”是采用有监督训练得到的CNN特征图来做无监督方式的特征聚合。

3. 个人觉得文章重点在于计算出HxWxN的“probabilistic proposal”,或者说part表示能力,因为实际上物体的part总数会远远大于类别总数,从而当设置的part数目少时表达能力不够,多时维数又太高。

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!