?? CSDN 叶庭云：https://yetingyun.blog.csdn.net/
这项研究介绍了 ClimateGPT，这是一个综合了气候变化跨学科研究的特定领域大语言模型系列。我们在一个包含 3000 亿 tokens 的面向科学的数据集上从头开始训练了两个 70 亿参数的 LLMs。对于第一个模型，在预训练过程中包括了 42 亿个领域特定的 tokens，第二个模型在预训练之后适应了气候领域。此外，ClimateGPT-7B、13B 和 70B 是在 LLaMA-2 上持续预训练的，使用了 42 亿个 tokens 的领域特定数据集。
每个模型都在与气候科学家密切合作创建的高质量、人工生成的特定领域数据集上进行指令微调。为了减少幻觉的数量，我们优化了检索增强模型，并提出了分层检索策略。为了提高模型对非英语使用者的可访问性，我们建议使用级联机