LLM包含的知识

发布时间:2024年01月22日
  1. 基础知识

    图片

    磨刀不误砍柴工,LLM基础知识还是需要的。会按照历史梳理LM,详解BERT、GPT系列等各种预备核心知识点,并带着进行GPT预训练实战、位置编码(长文本问题)实战等。

  2. 数据工程

    图片

    数据很重要,数据是天花板,算法只是无限接近天花板。LLM的第一步就是数据处理,国外的很多SoTA研究都基于此。

  3. 分布式训练框架

    图片

    大语言模型的“大”,就离不开分布式。ZeRO的三个级别、Deepspeed理论与实战等等是必备技能。

  4. 微调

    图片

    LLM微调最费机器,所以也是知识点最多的地方,比如详解各种PEFT方法、LoRA、QLoRA(两种量化、Page Optimizer等)、RLHF(强化学习基础、RW、PPO和PPO-max)等,以及Llama-Factory实战、LLaMA2-QLoRA实战和RLHF实战来巩固所学。

  5. 推理和部署优化

    图片

    LLM模型搞定,就需要考虑如何快速推理了。这里会详解Flash Attention、Speculative Decoding、KV-Cache、Paged Attention、Dynamic Batching和Contiuous Batching、稀疏attention和MoE等。

  6. 评测和分析

    图片

    LLM有输出啦,那么如何评测呢,又该评测哪些呢?这些问题又是哪里导致的呢?这里会一一进行讲解。

  7. 应用

    图片

    目前应用最火的就是Agent、langchain、RAG了,

文章来源:https://blog.csdn.net/weixin_43564920/article/details/135745560
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。