《小王爱迁移》系列之二十六：简单而有效的多表示迁移网络结构MRAN

迁移学习中，大多数关于领域自适应(DA)的研究都集中于如何减小领域间分布的差异。已有的方法绝大多数都围绕着设计更好的分布度量差异来进行迁移；从另一个角度来看，什么样的网络结构适合做领域自适应呢？

本文作者朱勇椿，中国科学院计算技术研究所博士生，研究方向为数据挖掘和迁移学习。

本期我们从深度神经网络的机构出发，为大家介绍一种适合领域自适应的结构：多表示的领域自适应 (Multi-representation Adaptation Network, MRAN)。这篇文章提出一个简单却有效的方法：在 多个 表示空间中进行领域自适应以达到更好的迁移效果。尽管该方法极为简单，但是效果却非常不错，在多数迁移学习公开数据集（Office-Home, Office31, Image-CLEF）上均有不错的效果。在当下追逐精度刷榜的洪流下，希望这个工作可以启发大家从不同的角度对​迁移学习进行探索。​

这篇文章发表在中科院一区期刊Neural Network 2019上，主要作者团队来自中国科学院计算所与微软亚洲研究院。文章相关链接：

PDF

代码

背景介绍

现在大多数领域自适应的方法使用单一的结构将两个领域的数据提取到同一个特征空间，在这个特征空间下使用不同方式（对抗、MMD等）衡量两个领域分布的差异，最小化这个分布的差异实现分布对齐。(详情请参照我们之前介绍的系列方法)但是单一结构提取的特征表示通常只能包含部分信息。举个简单的例子，原始图像如下图（a）所示，通过单一结构提取的特征表示可能仅包含部分信息，比如（b）饱和度，（c）亮度，（d）色调。

从图像中提取的特征通常只包含原始图像的部分信息，所以只在单一结构提取的特征上做特征对齐也只能关注到部分信息。为了更全面地表示原始数据，需要提取多种表示。因此这篇文章提出了多表示的领域自适应，使用一种混合结构，将原始图像提取到不同的特征空间（多种表示），在不同的特征空间分别进行特征对齐。

多表示领域自适应是一种通用的结构，可以使用不同的方法进行特征对齐。这篇文章使用CMMD进行特征对齐。因此，后续研究者可根据自己的问题设定，灵活修改这一结构。

方法介绍

方法如上图所示，框架很简单，通过多个子结构将特征映射到多个特征空间，在多个特征空间中分别进行特征对齐。这里多个子结构可以是不同的结构。这篇文章使用CMMD进行特征对齐，公式如下：

最后损失函数包含两个部分，一个是分类的损失（交叉熵），另一个是不同表示下的CMMD loss之和。可以看到优化目标相比于大多数UDA的方法来说是非常简单的，可扩展性也是很强的（CMMD可以替换为任意自适应损失）。

实验效果

这篇文章的思想非常简单，但是效果却很不错，在3个数据集上效果如下。

ImageCLEF:

Office31:

OfficeHome:

MRAN提取的多个表示的特征分布和DAN提取的特征分布的对比，可以看出多个子结构提取的表示有一定差异。

总结

在2020年即将过去的这个时间，尽管该工作的精度也已被一些最新的研究成果所超越，但其仍然具有一定的参考价值。精度从来不应该成为评价研究成果的唯一标杆。近年来大多数领域自适应的方法都在改进自适应损失函数，比如使用不同的度量函数来衡量分布差异，改进对抗损失等等。很少有去探索什么结构适合迁移的，这篇文章提供了一种简单但有效的思路——多表示领域自适应，可以和大多数现有的领域自适应方法结合。我们期待在未来有更多类似的方法可以进行扩展，取得更好的效果。

References

[1] Zhu Y, Zhuang F, Wang J, et al. Multi-representation adaptation network for cross-domain image classification[J]. Neural Networks, 2019, 119: 214-221.

=================

更多《小王爱迁移》系列文章：小王爱迁移》系列文章汇总

来源：oschina

链接：https://my.oschina.net/u/4326248/blog/4811971