大模型学习笔记05——大模型的数据

大模型学习笔记05——大模型的数据

对于大模型来说，训练数据就是“原始文本”

大语言模型背后的数据

• 大型语言模型是在"原始文本"上进行训练的。为了实现高度的能力（如语言和世界知识），这些文本应涵盖广泛的领域、类型、语言等。
• 数据来源：网络和大公司私有数据
• 丰富的网络数据中存在的问题
  • 大规模数据在全球人口中的代表性仍然不均衡。
  • 网络数据过多地代表了来自发达国家的年轻用户。
  • GPT-2的训练数据基于Reddit，根据皮尤互联网研究的2016年调查，美国Reddit用户中有67%是男性，64%的年龄在18到29岁之间。
  • 维基百科的编者中只有8.8-15%是女性。
  • 网络上的骚扰可能会让某些人群（如跨性别者、神经发育不同的人）产生排斥感。
  • 过滤"不良词汇"可能进一步边缘化某些人群（如LGBT+）。 因此，我们的结论是：理解和记录用于训练大型语言模型的数据集的组成是至关重要的。
• Common Crawl：从网络上爬取数据，并免费给公众提供快照
• WebText：从Common Crawl选取，创建WebText的过程包括：抓取至少获得3个赞的所有外链，过滤掉维基百科以便在基于维基百科的基准测试中进行评估，最终得到了40GB的文本。openai训练GPT-2数据，未公开
• OpenWebText：按照WebText的方式复现
• Colossal Clean Crawled Corpus(C4)：训练T5模型，从2019年4月的Common Crawl快照（1.4万亿个标记）开始，移除了“bad words”，移除了代码（“{”），通过langdetect过滤掉了非英语文本，最终得到了806GB的文本（1560亿个标记）。
• Benchmark的数据污染问题：对于大型语言模型，训练数据和基准数据都源自互联网，要事先保证它们的完全分离就显得有些困难
• The Pile数据集
• 网络和私有数据的总量是巨大的，但是简单地将所有数据（甚至是Common Crawl）都用于训练并不能有效地利用计算资源。数据的过滤和策划（如OpenWebText，C4，GPT-3数据集）是必要的，但可能会导致偏见。策划非网络的高质量数据集（如The Pile）是有前途的，但也需要仔细记录和审查这些数据集。

数据集文档

• 数据文档的作用
  • 让数据集的创建者有机会反思他们的决策，以及在创建数据集过程中可能产生的潜在危害，比如社会偏见
  • 让数据集的使用者了解何时可以使用数据集，何时不应使用数据集
• 数据集的生命周期中需要考虑的问题
  • 数据集的创建动机，谁是数据集的创建者，数据集的创建是由谁资助的。
  • 在数据集的组成部分，我们需要了解数据集中的实例代表什么，是否有缺失信息，是否包含机密数据等。
  • 在收集过程中，我们需要了解每个实例的数据是如何获取的，谁参与了数据收集，他们是如何获得报酬的，以及是否进行了道德审查等。
  • 在预处理、清理和标记阶段，我们需要了解这些工作是否已经完成，是否有相应的软件可供使用。
  • 在数据集的使用方面，我们需要了解数据集是否已经被用于某些任务，是否有不适合使用该数据集的任务。
  • 在分发阶段，我们需要了解数据集将如何分发，是否有第三方对数据施加了知识产权或其他的限制。
  • 在维护阶段，我们需要了解谁会负责维护数据集，数据集是否会更新

数据生态

Hugging Face发起的BigScience项目旨在收集一个大型多语种数据集并训练一个大型语言模型。BigScience的数据治理工作组正在开发一个框架，以负责任地策划高质量的数据源，而不是无差别地爬取网页。

注

笔记原始文本地址：添加链接描述