【大模型理论基础】（大模型的能力）学习笔记

发布时间：2024年01月18日

学习教程文档【大模型理论基础】

语言模型的适应性：从语言模型到任务模型的转化

在这里插入图片描述
在这里插入图片描述

Language Modeling

在这里插入图片描述

采用几何平均，每个词标记的概率都被同等看待，并且一个极低的概率（如0）将会导致整个几何平均大幅度下降
在这里插入图片描述

数据集

  • Penn Tree Bank
    自然语言处理中的一个经典数据集，最初是为了进行句法解析而标注的
  • LAMBADA
    在这里插入图片描述
  • HellaSwag
    在这里插入图片描述
  • Question answering
    （闭卷）问答题，其中输入是一个问题，输出是一个答案
  • TriviaQA
    任务：给定一问题后生成答案
  • WebQuestions
    任务：和TriviaQA类似是问答任务
  • NaturalQuestions
    任务：回答问题
  • Translation
    翻译任务是将源语言（例如，德语）中的句子翻译成目标语言（例如，英语）中的句子
  • Arithmetic
    任务：做算术题（2-5位数的加法，减法，乘法）
  • News article generation
    任务：给定标题和副标题，生成新闻文章
  • Novel tasks
    使用新词；纠正英语语法
文章来源:https://blog.csdn.net/weixin_64546620/article/details/135581019
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章