[学习笔记]刘知远团队大模型技术与交叉应用L4-Prompt-learning & Delta-learning

发布时间：2024年01月22日

Prompt-Learning and Delta-Tunning

背景和概览

在这里插入图片描述
但是从T5开始，大模型越来越大了。
微调很难了。
在这里插入图片描述

模型的趋势

Model Scaling：模型越来越大
Difficult Tuning：微调越来越难

Prompt-Learning

基本组成与流程介绍

预训练和fine-tuning有一定的gap。毕竟是不同的任务。
在这里插入图片描述
通过额外增加模版。
映射到标签的过程称为verbalizer。
这样就使用了mask任务。弥补了不同之间的gap。
在这里插入图片描述

流程举例

在这里插入图片描述

如何考虑PLM，Template，Verbalizer

PLM

Auto-regressive有更好的生成能力，mask往往放最后
MaskLM有更好的理解能力，mask往往放中间
Encoder-Decoder，mask位置可以随意
在这里插入图片描述

Template

人工构造

在这里插入图片描述
在这里插入图片描述
人为加入规则
在这里插入图片描述

结构化的Template

在这里插入图片描述

多个template整合

在这里插入图片描述

自动template

最终的template可能没有含义，但是work
在这里插入图片描述

Verblizer

把标签映射成标签词的过程。
本质上是如何用模型预测得到的分布，用它完成分类或者生成。
在这里插入图片描述

人为构造

在这里插入图片描述

训练新范式

在这里插入图片描述

应用

在这里插入图片描述

总结

在这里插入图片描述

Delta-Learning

背景与介绍

文章来源:https://blog.csdn.net/zhangyifeng_1995/article/details/135736185
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章