大模型基础2

大模型基础2

第二章：大模型的能力

语言模型的适应性：从语言模型到任务模型的转化

• 语言模型转化为任务模型的过程称为"适应"：
  • 任务的自然语言描述
  • 一组训练实例（输入-输出对）
• 进行适应的两个种方法：
  • 训练（标准的有监督学习）
  • 提示（上下文）学习
    • 零样本学习(Zero-shot)：提示/上下文信息的数量为0，模型直接基于对任务的理解输出结果。
    • 单样本学习(One-shot)：提示/上下文信息的数量为1，一般来说模型基于1个例子可以更好的理解任务从而较好的生成结果。
    • 少样本学习(Few-shot)：提示/上下文信息的数量大于1，大模型可以看到更丰富的例子，一般来说获得比单样本学习更好的效果。

Language Modeling

• 困惑度，自然语言处理和语言模型中的一个重要概念，用于衡量语言模型的性能（如果一个模型的困惑度较低，那么它在预测下一个词的时候就会更加准确。）
  

• 语言模型可能会犯两种类型的错误，而困惑度对这两种错误的处理方式并不对称：

  • 召回错误

  • 精确度错误

• Penn Tree Bank：是自然语言处理中的一个经典数据集，最初是为了进行句法解析而标注的。

  • 适应性测试
  • 评估其困惑度

• LAMBADA

  • 预测句子的最后一个词：解决这个任务需要对较长的内容进行建模，并对较长的内容具有一定的依赖。

• HellaSwag：

  • 动机：评估模型进行常识推理的能力
  • 任务：从一系列选择中选出最适合完成句子的选项

Question answering

• TriviaQA
  • 任务：给定一问题后生成答案 原始数据集是由业余爱好者收集的，并被用作开放式阅读理解的挑战，但我们用它来进行（闭卷）问题回答。
• WebQuestions
  • 任务：和TriviaQA类似是问答任务 数据集从Google搜索查询中收集，最初用于对知识库的问题回答。
• NaturalQuestions
  • 任务：回答问题 从Google搜索查询中收集的数据集（区别在于答案的长度较长）

Translation

• 翻译任务是将源语言（例如，德语）中的句子翻译成目标语言（例如，英语）中的句子。

Arithmetic

• GPT-3是一个语言模型（主要是英语），但我们可以在一系列更“抽象推理”的任务上评估它，以评估GPT-3作为更通用模型的性能。

News article generation

• 任务：给定标题和副标题，生成新闻文章。

Novel tasks

• 使用新词
• 纠正英语语法

Other tasks

• SWORDS：词汇替换，目标是在句子的上下文中预测同义词。
• Massive Multitask Language Understanding：包括数学，美国历史，计算机科学，法律等57个多选问题。
• TruthfulQA：人类由于误解而错误回答的问答数据集。