将迁移学习用于文本分类《 Universal Language Model Fine-tuning for Text Classification》

2018-07-27 20:07:43 ttv56 阅读数 4552更多

本文链接：https://blog.csdn.net/u014475479/article/details/81253506

本文发表于自然语言处理领域顶级会议 ACL 2018
原文链接
特别说明：笔记掺杂了本人大量的个人理解，以及口语化的语言，由于本人水平有限，极有可能曲解原文的意思，各位看官随意看看，切莫当真~

摘要

迁移学习在图像领域大放异彩，可是在NLP领域却用途寥寥，这是因为现有的NLP模型都与迁移学习不兼容，每次更新任务都需要重头开始训练模型，否则就会导致模型习得的语言特征灾难性地丢失。本文深知迁移学习才是NLP研究的新方向，故本文提出了一个新型的可以用于所有NLP任务的“超级模型”——ULMFiT ！！！！！！！经过严密实验，本文提出的ULMFiT模型吊打一切现有NLP分类模型，牛得一批！！！！！

模型介绍

假设我们有源任务 $T_{s}$

有了上述的宏伟理想，我们就要开始朝它努力了啊！
所以我们的模型必须要考虑到NLP任务的方方面面，这样才能打遍天下无敌手，所谓的“长文本语义依赖问题”，“各种粒度的语义分析”啊等等问题，都得考虑到，都是小菜一碟！

我们的模型分为两部分，其一就是一个语言模型。该模型是在一个大型的通用语料库上训练的，因为我们致力于做出一个通用的模型，所以我们的语料库大到你无法想象，反正就是超级大就对了，能够胜任NLP的所有任务！等该模型训练好之后，我们再对其进行微调就可以让其去解决不同的特定领域的问题啦！哈哈哈！！

说了那么多，我们的模型是啥呢？没错！当然是目前最先进的AWD-LSTM模型啦！（什么？不知道这模型是啥？百度啊？还指望我解释？！吔屎啦你！）

用通用的大到你无法想象的语料库训练完最先进的AWD-LSTM模型之后，我们接下来该做啥呢？没错！就是对该通用模型进行微调，然后让其适应于特定任务！那么该怎么微调呢？我们有两个独门秘笈：

Discriminative fine-tuning（为了让秘笈看上去更神秘就不翻译了）

具体而言, 就是为我们的模型的每一层分配不同的学习率, 参数更新时, 各层按照各自的学习率进行更新. 此处作者提出了一个技巧, 先通过只调整最后一层的参数确定一个合适的学习率, 然后往前的每一层都使用后一层学习率的2.6分之一倍.
（ $我也不知道为啥这么做效果会变好，原文也没说，看来独门秘笈果然是高深莫测$
Slanted triangular learning rates（不翻译，理由同上）

具体而言，是一种新型的学习率更新方式，由于采用该方式学习率的变化图形会像一个“三角形”一样，所以该秘笈的名字里也带了“triangular”。如图所示：

其中横轴是模型的迭代次数，纵轴是学习率。具体公式如下：

其中 $T$

(注：这些公式的数值是我根据上图方便读者理解从图中用肉眼读出来的，与原文实验无关)。