19ICCV之REeID：RGB-Infrared Cross-Modality Person Re-Identification via Joint Pixel and Feature Alignm

RGB-Infrared Cross-Modality Person Re-Identification via Joint Pixel and Feature Alignment
当前的问题及概述：
传统的方法主要是通过特征表示学习来弥补跨模态和特征对齐之间的差异，其基本思想是通过特征表示学习来匹配真实的RGB和IR图像。由于两种模式之间存在较大的交叉模态差异，因此很难在共享的特征空间中准确地匹配RGB和IR图像。
同时，Cross-Modality Person Re-Identification with Generative Adversarial Training提出的CMGAN与本文同属于用GAN网络解决跨模态问题，但是CMGAN的rank1，mAP和ICCS（其中更大的ICCS值意味着更高的相似性）:
在这里插入图片描述
结果表明，该算法在交叉模态设置下性能较差，不能很好地克服交叉模态变化。

本文提出了一种用于RGB-IR reid任务的端到端对齐生成对抗网络(AlignGAN)。
本文提出的网络有以下几个特点：
1. 可以联合利用像素对齐和特征对齐。这是首次为RGB-IR RE-ID问题联合建立两种校准策略的模型。
2. 该模型由像素生成器、特征发生器和联合鉴别器组成，这样，不仅能够缓解跨模态和模态内的变化，而且能够学习到身份一致的特征。
3. 在SYSU-MM01数据集中，rank -1和mAP分别增长了15.4%和12.9%。
思路:
下图中，(a)特征对齐，(b)使用两个判别器对像素和特征进行比对。©使用联合鉴别器对像素和特征进行比对。
在这里插入图片描述
a:不同于现有方法的匹配RGB和红外图像,启发式方法是生成假红外图像基于真实RGB图像通过一个像素校准模块,然后匹配生成的假红外图像和真实红外图像通过特征对齐功能。
b:利用生成的伪红外图像来弥补RGB图像与红外图像之间的差距。两个生成器分别训练两个鉴别器Dp和Df。通过Gp和Dp，可以生成伪红外图像，缓解像素空间的交叉模态变化。虽然生成的假红外图像与真实的红外图像相似，但由于视角变化、姿态变化和遮挡，仍然存在较大的类内差异。为了克服这个问题，采用了Gf和Df。因此，与(a)中仅使用特征对齐的模型不同，本模型是针对RGB- IR交叉模态识别，采用像素对齐和特征对齐的方法设计的。然而,这两种对齐策略是单独采用的，可能无法很好地互补和增强，从而获得身份一致的特征。这是因为在Re- ID任务中，训练集和测试集的标签是不共享的。同一特征不能通过在训练集中拟合标签来保持身份一致性。例如，人A可能与人B对齐。
C:(AlignGAN)同时减轻交叉模态变化像素空间,不同模态的变异特征空间,以及保持的身份一致性特性RGB-IR交叉模式Re-ID任务。为了减少交叉模态变化，我们采用像素生成器Gp来生成基于RGB图像的身份保持伪红外图像。然后，利用基于身份分类和三重损失，利用特征生成器Gf将伪红外图像和真红外图像编码到一个共享的特征空间中，以减少模式内的变化。最后，为了学习识别一致性特征，我们提出了一种使Gp和Gf相互学习的联合鉴别器Dj。在这里，Dj以图像-特征对作为输入，将具有相同身份的真实的红外图像-特征对归类为1（real），其他的归类为0（fake）。相应地，Gp和Gf被优化以欺骗Dj。因此，来自不同身份的negative pairs被惩罚，maintain identity被显式地强制与对应的图像保持身份。通过Dj和Gp +Gf之间的max-min博弈，可以减少跨模态和模态内的变化，同时可以学习到身份一致性特征。

模型及loss：
在这里插入图片描述
AlignGAN分为三大模块：a pixel alignment module §, a feature alignment module (F)和a joint discriminator module (D)，P可以生成假红外图像X红外减轻交叉模式变化,F可以减少跨模态差异,D可以获得身份一致性特性通过P和F两大模块互相学习和惩罚negative pairs。
1.P：
在这里插入图片描述
P模块属于一个通过CycleGAN模型训练生成跨模态图像，并通过cycle-consistency loss.和identity loss进行训练，本文输入RGB图像，经过GAN网络，生成一个伪红外图像，这一模块在Cross-Modality Person Re-Identification with Generative Adversarial Training详细介绍过，不过多赘述，具体cycle-consistency loss.：
在这里插入图片描述
identity loss分为classify loss和triplet constraint loss：

2.F:

虽然P模块减少了交叉模态的差异，但是由于姿态、视角、光照等的不同，仍然会导致较大的模态内差异。也就是将P模块生成的伪红外图像与同ID的真红外图像分别作为Two-stream输入，经过CNN分别提取特征，生成real IR feature map和fake IR feature map，同样，通过identity-based classification loss 和 triplet loss 进行训练，loss如下：
在这里插入图片描述
为了增强对特征差异的识别，加入了GAN loss，目的是将图片（X）与feature map（M）组成pairs，来区别真红外图像和伪红外图像。故F模块总loss：

3.D：

本模块用一个联合判别器（Dj）组成，输入为F的输出，即image-feature pair (X,M)，输出为一个逻辑，1为real，0为fake，将P模块和F模块联合起来共同欺骗Dj，这样既会使得P中生成的伪红外图像及特征更加接近真红外图像及特征，其实本模块的loss采用交叉熵函数，
其中D loss为：
在这里插入图片描述
其中，
代表同一ID的real
代表同一ID的fake
代表不同ID的real
Pixel loss和feature loss为：

其中，
中X,M为同一ID，但X为fake，M为real
中X,M为同一ID，但X为real，M为fake
中X,M为同一ID，且都是fake。