2023春季李宏毅机器学习笔记 03 ：机器如何生成文句

资料

• 课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.php
• Github：https://github.com/Fafa-DL/Lhy_Machine_Learning
• B站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800

一、大语言模型的两种发展方式和实例

GPT

• 简介： 机器要学会读题目叙述Instruction Learning或题目范例In-context Learning
• 本质：文字接龙
• 发展：通才（只要重新设计Prompt，即可快速开发新功能，eg：）
• 具体：
  • Instruction Learning
  • In-context Learning
  • Chain of Thought (CoT) Prompting

BERT

• 简介：BERT是一个语言模型，对其进行改造（加外挂+微调参数），成为不同领域的专才（BERT只会进行文字填空，无法像GTP一样写出句子说话）
• 本质：文字填空
• 发展：专才 （单一任务完成度优秀，eg：专用于翻译的模型）
• 具体：
  • 加外挂Head：
  • Fintune（微调参数）：
  • 对于训练模型做改造：