2021年如何科学的“微调”预训练模型？

前言

笔者刚刚入门NLP的时候，其实还和朋友们调侃过“attention is all you need'这么绝对的标题也敢发出来？当然似乎后来还有一个paper是“cnn is all you need”？但2021年，我再看深度学习领域，无论是自然语言处理、音频信号处理、图像处理、推荐系统，似乎都看到attention混得风生水起，只不过更多时候看到的是它的另一个代号：Transformer。

我想大部分深度学习的同学除了在各大paper里看到Transformer，平常与Transformer打交道最多的时候，大概率都是在用一个叫做：HuggingFace/Transformers的Github代码库。用过的同志都说：真香。

那么我们用这个Transformers库里的模型都是在干什么？欢迎大家评论、私聊笔者来探讨你的用途。

我想大部分同学都是在“微调”（fine-tune）基于Transformers的“预训练“模型（比如BERT、Roberta），期望在自己的任务上（比如阅读理解、实体识别、情感分类）取得新的SOTA吧？当然也有少数土豪朋友们在不断训练出新的“预训练“模型，帮助苍生，提高SOTA。

那么如何科学的“微调”“预训练模型”自然而然便成为了一个重要的研究课题/方向/必备知识啦。

什么是“微调”Fine-tune？

为了讲清楚今天的话题，首先得和读者朋友们对齐一下背景知识，即什么是“微调”？如果读者朋友看章节题目就明白了，可以直接跳到下一章节继续阅读。

图1 引用动手学深度学习中的Fine-tune示意图

“微调”这个词并不是NLP的专用名词，早在CV起飞的年代，“微调”就已经被广泛使用了，当时将深度学习模型在ImageNet上预训练，然后在自己的任务上“微调”模型的部分参数，便是当年CV模型训练的常规方法。

“微调”/fine-tune通常指：一种深度学习模型的训练方式/步骤。

1. 如图1左边所示，假设我们有一个Source model（左边浅蓝色框的Layer组成），先在Source data上进行训练（Pre-train，预训练）。

2. 如图1右边所示，假设我们还有一个Target model （右边浅蓝色框的Layer+深蓝色的Output Layer组成）。

3. Target model的浅蓝色框Layer和Source model一样，意味着可以直接复制Source model中训练好的模型参数。

4. 而右边的深蓝色Output Layer和左边浅蓝色Output Layer其实有两种可能：

A、如图中所示，不相同，意味着Target model的任务类型/目标类型与Source model不一致；

B、图中未展示，相同，意味着Target model的任务类型/目标类型与Source model一致；

5. 如果是情况A，那么Output Layer只能随机初始化，意味着在Target data上需要一定的样本，才能将Target model中的Output Layer训练好。

   当然我们可以固定浅蓝色的Layer 1-Layer L - 1，也可以微调这些Layers。

6. 如果是情况B，那么Target model和Source model完全一样，意味着在Target data上即使没有任何样本，Target model也是可以直接使用的（zero-shot，当然效果可能不好），也可以在Target data上将Target model中的部分/全部参数进行“微调”。

所以“微调”也像字面意思一样，对模型参数“微微”调整。

如果是随机初始化并从头开始训练网络则！=“微调”。

因此常规的“微调”通常也使用更小的learning rate对模型进行训练。

上面的“微调”示意图也告诉我们，任何模型结构都可以进行微调，包括不限于：Transformer、CNN、LSTM等。

预训练模型和常见NLP训练任务

如图1所示，只要Target model中的全部/部分参数在见到Target data之前被训练过，其实都可以叫做“预训练”。

预训练方法包括但不限于：语言模型无监督预训练（BERT），目标类似的其他数据集预训练，目标不类似但相关的其他数据集预训练等。

NLP里常见的训练目标：句子分类、句子相似判断、实体识别、阅读理解（start、end token预测）、语言模型等。

由于训练目标不同，往往Output Layer参数的维度也不同。

假设进入Output Layer层的维度是H，那么句子2分类就是Hx2，实体10分类就是Hx10，这也是Output Layer在不同的目标上能否复用的原因。毕竟，一个Hx10维的矩 != Hx2的矩阵。

图2 几个常见的NLP训练目标，不同任务往往有着不同的output layer

学习了什么是“微调”，什么是“预训练”之后，我们来看看近些年“微调”预训练的方法都有哪些。

“微调”预训练模型

我们知道微调的时候存在两种情况：预训练任务和目标任务相同、不相同。

我们也知道常见的预训练可以有这么几种情况：

1. 无监督+大规模数据预训练（例如BERT、Roberta、XLNet等）；

2. 无监督+domian数据预训练（例如我们要对wikipedia的数据做问答，那可以先用wikipedia的数据预训练一下模型）；

3. 有监督+相似任务预训练（例如我们要对句子做2分类，那么我们可以先用短语2分类、文档2分类的数据进行预训练）；

4. 有监督+相关数据/任务预训练（例如我们要对数据X做句法分析，由于这个数据X同时还标注实体，那么我们可以用实体标注进行预训练）；

5. 多任务学习 ，多任务学习进行预训练的常规方法是：将多个相关的有监督/无监督任务放在一起对模型参数进行预训练。关于多任务学习，读者可以参考我前面写的文章。

于是我们得到了这样一张表格：每一列我们都可以选1个或者多个任务进行预训练，看着这个表格应该可以想到各种花式预训练排列组合啦吧哈哈哈。

如何微调预训练模型	A 目标任 务相同	B 目标任 务不相同
1 无监督+大规模数据预训练	yes	yes
2 无监督+domain数据预训练	yes	yes
3 有监督+相似任务预训练	yes	no
4 有监督+相关数据/任务预训练	yes	yes
5 多任务学习	yes	yes

这么多花式组合就不一一介绍了，下面终点介绍几种最常用的组合吧：

图3 最常用的Fine-tune：1B（BERT）+ 目标任务（例如句子情感分类）

1B的含义：1无监督+大规模数据预训练，B目标任务和预训练任务不同。

图3展示了最常用的“微调”预训练模型的方法，通俗的讲就是：我们拿一个在大规模数据上训练好的BERT过来，直接在BERt上添加一个Task-specific的Head/网络层，然后在自己的数据集上稍加训练一下，得到新模型，跑出新SOTA。

图4  Adaptive Fine-tune：1B+2B+目标任务

图4是图3的一个加强版本，通俗的讲：假设我们要对Wikipedia的问题做阅读理解，由于大部分大规模预训练模型并不只用wikipedia作为训练数据，所以数据分布与wikipedia存在一定的差异，因此我们先在wikipedia数据上跑一下语言模型预训练，再对wikipedia数据上的问答数据进行训练。就像一个全能的新员工，咱们先带着参观一下工位、水吧、食堂，再开始训练干活呗。

图5: Behavior Fine-tune：1B+3A+目标任务

图5和图4有一定的区别，还是以BERT为例，先将BERT+output layer在相关任务上预训练一下，再上在目标任务上进行训练。这种情况常常存在于：目标任务的数据十分少，并且我们随机初始化了一个output layer。

那么这个output layer十分不容易被训好，并且参数量大大的BERT也十分容易过拟合小数据集，因此效果很糟糕，那么我们先找点相关/相似的任务，把BERT和output layer朝我们想要的方向调整调整，再对目标任务进行训练。

图6: prefix fine-tune：1A+目标任务

图6是一种非常有趣的预训练+finetune的方式。也是2020/2021开始热起来的一种。

意思是：我们给预训练模型一点prefix/prompt（提示），让模型通过这个prefix来区分不同的任务，同时我们又将目标任务改造成预训练模型一样的目标（比如将分类问题转化为seq2seq问题）。

由于预训练目标和最终目标一致，那么我们可以不需要新的数据就可以进行预测，同时也可以使用更多的数据进行fine-tune。

举个例子：

图7 目标任务改造成预训练任务

如图7所示，我们的目标任务是：通过阅读Passage，然后对Question做二分类判断（yes/no）；那么我们可以将这个任务改造成一个seq2seq的MLM任务。

passage（绿色）+ prefix/prompt（红色）+Qeustion（蓝色）+MASKED（黄色）。MASKED词库包含yes/no。

因此自然而然，原先的分类任务就变成了一个Mask Language Model啦。so far so cool！