书生·浦语大模型实战营笔记（四）

发布时间：2024年01月15日

Finetune模型微调

直接使用现成的大语言模型，在某些场景下效果不好，需要根据具体场景进行微调

  • 增量预训练：投喂垂类领域知识
    陈述形式，无问答，即只有assistant
    在这里插入图片描述
  • 指令跟随：system-user-assistant
    在这里插入图片描述

在这里插入图片描述

XTuner

XTuner的原理是LoRA和QLoRA，降低显存开销，只对大模型的部分进行训练

实战记录

  • 与合并后的模型对话
# 加载 Adapter 模型对话（Float 16）
xtuner chat ./merged --prompt-template internlm_chat

其中–prompt-template后跟的是底座模型，不同底座模型对应的参数不同

xtuner chat --help

看接收哪些参数

  • 使用xtuner时显示command not found
    解决方案：

按照教程说的：假如显示bash: xtuner: command not found的话可以考虑在终端输入 export PATH=$PATH:'/root/.local/bin’不管用

最终重新安装一遍xtuner后解决的

pip install -e '.[all]'
文章来源:https://blog.csdn.net/weixin_44986362/article/details/135578938
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章