LaWGPT安装和使用教程的复现版本【细节满满】

发布时间:2024年01月17日


前言

LaWGPT 是一系列基于中文法律知识的开源大语言模型。该系列模型在通用中文基座模型(如 Chinese-LLaMA、ChatGLM等)的基础上扩充法律领域专有词表、大规模中文法律语料预训练,增强了大模型在法律领域的基础语义理解能力。LaWGPT是本人尝试使用和微调的第一个法律专业领域的大语言模型,自我感觉该模型很适合作为法律垂直领域大模型的入门级选手,无论是部署配置还是推理微调都十分方便。本文主要介绍如何配置部署LaWGPT和LaWGPT推理基本步骤,希望可以帮助大家使用LaWGPT。

一、下载和部署

1.1 下载

首先执行git clone git@github.com:pengxiao-song/LaWGPT.git下载项目仓库,但是可能会因为网络问题而失败,因此可以直接在Github上下载LawGPT的基本框架。
在这里插入图片描述
之后需要下载权重文件chinese-alpaca-plus-7b-merged和基础模型lawgpt-lora-7b-v2。下载地址为:chinese-llama-7b-mergedlawgpt-lora-7b-v2。下载好之后将基础模型lawgpt-lora-7b-v2放在entity303文件夹中(需要新建),chinese-alpaca-plus-7b-merged放在minlik文件夹中(需要新建)。
在这里插入图片描述

1.2 环境安装

服务器的版本为RTX 3090,内存为24GB。Python版本为3.10,ubuntu的版本为20.04,Cuda的版本为11.6

库名版本
transformers4.35.2
cd LaWGPT/
conda create -n lawgpt python=3.10 -y
source activate lawgpt
pip install -r requirements.txt

其中requirements.txt修改如下,其中peft库我是在官网上下载至LaWGPT目录下再进行pip install peft安装的:

accelerate
appdirs
bitsandbytes
black
black[jupyter]
datasets
fire
transformers == 4.35.2
gradio
sentencepiece
wandb
scipy
socksio

1.3 模型推理

模型推理部分我直接是调用了infer.py而不是infer.sh,需要额外安装fire库。infer.py文件中需要自己添加一下base_modellora_weightprompt_template的路径,两个部分别为:

在这里插入图片描述
在这里插入图片描述
成功运行infer.py的截图如下所示:

在这里插入图片描述
在这里插入图片描述


总结

LaWGPT对于专业的法律问题回答能力优秀,希望大家可以通过我的分享来测试它??????

文章来源:https://blog.csdn.net/weixin_45734379/article/details/135078299
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。