大模型理论基础4

大模型数据

大语言模型背后的数据

• 为了实现高度的能力（如语言和世界知识），这些文本应涵盖广泛的领域、类型、语言等。

WebText和OpenWebText数据集

• WebText数据集被用于训练GPT-2模型
• 可以利用OpenWebText来进行一些原本需要WebText数据集的实验和研究

Colossal Clean Crawled Corpus（C4）

• C4语料库被用来训练T5模型

Benchmark的数据污染问题

• 若基准数据在模型的训练数据中出现过，基准性能就可能会产生偏差。
• 一般而言，在机器学习中，保证训练数据和测试数据的分离（我们称之为数据卫生）相对容易。
• 但对于大型语言模型，训练数据和基准数据都源自互联网，要事先保证它们的完全分离就显得有些困难。

GPT-3的数据集

• GPT-3的数据集主要源自Common Crawl，而Common Crawl又类似于一个参考数据集——WebText

The Pile数据集

• The Pile数据集包含了825GB的英文文本，由22个高质量数据集组成。
• 当用这个数据集训练GPT-2Pile（1.5B参数）并与用GPT-3数据集训练的GPT-3（175B参数）进行比较时，The Pile包含了大量GPT-3数据集未能很好覆盖的信息。