[CVPR2017] Deep Self-Taught Learning for Weakly Supervised Object Localization 论文笔记

http://openaccess.thecvf.com/content_cvpr_2017/papers/Jie_Deep_Self-Taught_Learning_CVPR_2017_paper.pdf

Deep Self-Taught Learning for Weakly Supervised Object Localization. Zequn Jie, Yunchao Wei, Xiaojie Jin, Jiashi Feng, Wei Liu

亮点

监督学习中用难例挖掘，弱监督中靠可靠样本的挖掘，本文筛选可靠样本的方法比较具有通用性

在线样本收集，通过relative improvement指标，不断提升弱监督驯练样本的质量

本文是少数未采用预计算好的proposal，而采取自适应proposal的文章，可以根据网络训练情况来改变proposal

主要思想

问题：大多数现有的弱监督定位（WSL）方法通过对图像级别的监督学习识别到的特征区块来进行探测器的学习。然而，这些特征不包含空间位置的相关信息，同时对探测器的学习来说，其所提供的样本数据质量都比较差。

解决方案：检测器学习获取可靠的样本对象特征并以此为基础重新训练自己。相应的，随着探测器本身检测能力的提高和提供的位置信息质量的提高，于是便能进一步的提高较好质量的数据。

文中提出了一个种子样本采集（Seed Sample Acquisition）方法，通过图像到对象的传输和密集的子图采集获取可靠的正样本来进行探测器的初始化。
提供了一种在线支持样本收集（Online Supportive Sample Harvesting）计划来动态地选择最为可信的正样本，并提供成熟的训练方法对探测器进行训练。

方法

Seed Sample Acquisition

Image-to-Object Transfer：Hypothesis-CNN-Pooling (HCP) [26]（见下方第一张图）提出了一个 CNN 网络 HCP 不需要真值训练数据（只有单标签训练数据）的情况下可以完成对多标签图像分类问题。首先提取图像中的候选区域，然后对每个候选区域进行分类，最后使用 cross-hypothesis max-pooling 将图像中所有的候选区域分类结果进行融合，得到整个图像的多类别标签。（from https://blog.csdn.net/zhangjunhit/article/details/72818610）
Reliable Seed Proposal Generation：选出上一步正类别对应的top N proposals，使用dense subgraph discovery (DSD) 的方法选出最空间上响应最集中的位置，见下方第二张图。

之所以可行的原因：通过观察发现[26]发现

结果多仅覆盖了物体的关键部位，或者是一些重要的上下文
所有proposals基本上覆盖了这个物体的绝大部分

Dense subgraph discovery (DSD) problem

所有proposal为节点，如果他们之间的IOU大于某一阈值用一个边边将它们连起来，组成无向图G。从某一节点开始采用贪心算法，找到当前边边最多的节点保存，删除他周围的所有邻居节点，然后重复，知道没有其他节点或者保存的节点数大于k。
好处：与 clustering或non-maximal suppression (NMS)比较，这种方法

保留的proposal数目是自适应的
与估计的分类分数无关

[26] Yunchao Wei, Wei Xia, Min Lin, Junshi Huang, Bingbing Ni, Jian Dong, Yao Zhao, and Shuicheng Yan. Hcp: A flexible cnn framework for multi-label image classification. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(9):1901–1907, 2016.

Online Supportive Sample Harvesting (OSSH)

使用Fast RCNN框架进行训练，首先使用seed samples预训练网络，此后使用OSSH渐进式的收集正样本，并用收集到的正样本继续训练。与Fast R-CNN相同，与选择出的正样本IoU大于0.5的proposals为正，其他为负。

Relative improvement (RI)：对于一个proposal，RI指的是在下一个epoch该proposal未参与训练前的测试得分，和当前epoch该proposal参与训练后的测试得分之差。对于一张图像，我们将所有proposals的RI降序排序，只选RI最大的propsal作为训练的监督信号。具体定义，如下所述：