大模型学习笔记02——大模型的能力

大模型学习笔记02——大模型的能力

1、概述

• 以GPT-3为例，并未明确针对这些任务进行训练，它只是作为一个语言模型，被训练来预测下一个词
• 由于GPT-3并未特别针对任何这些任务进行训练，因此它并未过度拟合，意味着它有很大的潜力在许多其他任务上表现良好

2、语言模型的适应性：从语言模型到任务模型的转化

以GPT-3为例，仅在大量语料上训练的语言模型，未针对任何任务进行训练，因此从语言模型到任务模型的转化（也叫做语言模型的适应性）需要以下两个输入：

• 任务的自然语言描述
• 一组训练实例（输入-输出对）

主要有两种方式来完成这种适应：

• 训练（有监督学习）

• 提示（上下文）学习

  • zero-shot
  • one-shot
  • few-shot

在适应的过程中，训练可能会因为过拟合而变得具有挑战性，因为大模型的参数往往很多，而参与训练的数据或例子较少（一部分原因是数据有限，一部分原因是模型可输入长度有限，有的即使可以输入足够的长度，但是大模型对输入的开始和结尾的部分更敏感，更容易记住，而中间部分容易遗忘，导致中间部分数据可能没有起到很好的作用）

总的来说，大模型具有很不错的性能，并且上下文的数量更多总是更好的。

以GPT-3为例，对其各种功能升入的认知，并真正理解如何优化给模型的提示，最直观的方法是验证语言模型是否能够有效地模仿和理解语言。

困惑度（perplexity），用于衡量语言模型的性能，模型的困惑度较低，预测下一个词越准确

总结

• GPT-3的表现不稳定
• 增加模型的大小和示例的数量都有助于提高性能
• 对于模型表现的原因尚不清楚

注

原文地址添加链接描述