【笔记】书生·浦语大模型实战营——第四课（XTuner 大模型单卡低成本微调实战）

发布时间：2024年01月14日

【参考：tutorial/xtuner/README.md at main · InternLM/tutorial】
【参考：(4)XTuner 大模型单卡低成本微调实战_哔哩哔哩_bilibili-【OpenMMLab】】

总结

  • 学到了

linux系统中 tmux 的使用

  • 了解了

XTuner 大模型微调框架的使用
pth格式参数转Hugging Face格式
Merge模型参数

学习记录

tmux

apt update -y  # 更新源

apt install tmux -y # 安装

tmux new -s finetune # 新建一个名称为finetune的session

现在进入了finetune的session

按ctrl+b 然后放开按键，再按d，离开

tmux attach -t finetune  # 回到finetune


输入
xtuner train ./internlm_chat_7b_qlora_oasst1_e3_copy.py --deepspeed deepspeed_zero2

作业

【参考：tutorial/xtuner/self.md at main · InternLM/tutorial】

在本地终端输入以下指令.
6006是在服务器中打开的端口，而35144是根据开发机的端口进行更改。

ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 35144

数据2000条，2个epoch，感觉不太行
在这里插入图片描述
数据10000条，3个epoch
在这里插入图片描述

文章来源:https://blog.csdn.net/Jruo911/article/details/135585579
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章