人工智能中的大模型PET

PET-TC(a)

• paper a: 2020.1 Exploiting Cloze Questions for Few Shot Text Classification and Natural

• prompt: 单字完形填空式人工Prompt

• Task： Text Classification

• Model: Roberta-large, XLM-R

• Take Away: 加入完形填空式Prompt把文本分类任务转化成单字MLM

和第一章的LAMA相似，PET-TC也是把输入映射成完形填空式的prompt模板，对掩码词进行预测作为分类标签。不过PET没有直接使用prompt，而是用了半监督的方案。用多个prompt模板微调模型后，对大规模无监督数据进行预测，然后在伪标签上进行常规的模型微调，哈哈绕了一个圈最后还是输出的常规微调的模型。我大胆猜测作者很看好prompt范式在微调时引入的前置语义信息，以及无额外参数的设定，但是对不同prompt和answer模板带来的不稳定性感到头疼，于是搞出这么个折中的方法~

prompt & Answer Engineer

PET针对每个数据集人工设计了prompt模板和Answer词对标签的映射。针对单双文本输入分别举两个例子，以下a，b为原始输入文本，'_'位置为MASK词

• 单输入：Yelp评论1~5星打分，标签词分别为terrible, bad，okay，good，great

• 双输入：AG's News新闻四分类问题, 标签词分别为分类名称Worlds，Sports, Business, Science/Tech,

可以看出作者构建prompt模板的思路是尽可能还原文本所在的上下文场景，Answer词的选取是一对一的构建模式，每个label只选取一个词来表示。

固定prompt微调LM

完形填空式的prompt模板在微调时的优势，我认为主要有以下三点

• 没有额外参数的引入，常规微调需要引入hidden_size * label_size的额外参数（classify head）作为每个标签对应的空间表征，这部分需要针对下游任务重头学习。而完形填空的token是在原始vocab中的，于是只需要调整标签词的预训练表征让它在label上线性可分即可

• 前置语义信息的引入，因为标签词的选取本身符合label的原始语义，例如以上YELP评论打分中的5个形容词本身就是隐含了评论质量信息的，所以会引入部分前置信息，避免重头学习，这一点和MRC有些相似

• 预训练和微调的一致性高，都是解决完形填空问题，学习目标一致

微调的损失函数是交叉熵，作者没有引入额外参数，而是把MASK位置上模型的预估logits在label上归一化来得到分类预测。例如上面的AG新闻分类任务，先得到MASK位置worlds，sports，business，science这四个词的预测logits，然后归一化得到预估概率，再和分类标签计算交叉熵。

为了避免灾难遗忘作者在下游任务微调时加入了预训练的MLM任务，于是微调的损失函数如下

半监督+蒸馏

这部分的设计可以和prompt的部分分开来看，是一个半监督方案。以上每个任务对应的多个prompt模板，分别固定prompt微调LM得到一版模型，然后在大量的未标注样本上进行预测，再对多个模型的预测值进行加权得到伪标签。

最终在为标签上使用常规的微调方案（加classifier head），训练模型作为输出，这一步类比知识蒸馏。所以PET最后输出的还是常规的监督微调模型，Prompt只是被当做了一种半监督方案。效果上在小样本的设定上比直接使用监督微调都有一定的效果提升。

作者还做了iPET对以上过程通过迭代逐步扩大数据集，提高伪标签准确率的方案，不过这么麻烦的实现一点都不适合我这种懒人，哈哈就不细说了~

针对PET有几点疑问

• 完形填空类的prompt，在微调过程中可能的灾难遗忘，是否因为对label词的微调偏离了词在原始文本中语义表征，以及和其他词的相对位置

• prompt模板差异带来的效果差异尚未解决，人工构建的prompt模板不一定是最优的

• Answer词单token，以及和label一一对应的设定，限制性较强。这部分在后面的续作里作者做了改良

后面介绍的几个模型，大多是基于PET上述问题的改良~

PET-TC(B)

• paper b: 2020.9 It’s not just size that matters: Small language models are also few-shot learners.

• Prompt： 多字完形填空式人工Prompt

• Task：Text Classification

• Model: Albert-xxlarge-v2

• Take Away: 支持多字的完形填空Prompt，效果超越GPT3

这篇paper和上面的PET-TC是同一作者，算是上文的续作，主要优化了Answer词单token设定，支持多个token作为标签词，不过限制性依旧较强是预先设定任务最大的token数，然后使用最大token数作为MASK数量，而非动态的任意数量的MASK填充。

论文对推理和训练中的多MASK填充做了不同的处理。在推理中需要向前传导K次，如下图所示

1. 使用标签最大的label词长度K，生成k个MASK位置

2. 对K个位置同时预估得到K个预估词，选取概率最高的1个词进行填充

3. 针对填充后的新文本，对剩余K-1个位置再进行预估

4. 直到所有位置都被填充，分类概率由所有填充标签词的概率累乘得到

在训练过程中为了提升效率，论文使用了一次向前传导对多个位置同时完成预估，这时MASK长度是所有标签的最大长度。例如情感分类问题terr##ble长度为2，great长度为1，这时MASK填充长度为2,great只取第一个MASK词的概率，后面的忽略，概率计算如下

p(Y=?1|x)=P1M(ble|x)?P2M(terri|~x)p(Y=1|x)=P1M(great|x)

其他部分和PET基本一样这里不再重复。效果上这篇论文换成了Albert-xxlarge-v2模型和GPT-3 few-shot在superGLUE上进行效果对比。不过以下参数对比并不太合理，虽然Albert是层共享参数，但是推理速度并无提升，12层的xxlarge模型参与计算的参数量级应该是223M*12~2B，所以并不是严格意义上的小模型。调整参数后，32个小样本上PET的效果也是超过同等量级甚至更大的GPT3在few-shot上的效果的