ChatGLM2-6B 是清华 NLP 团队于不久前发布的中英双语对话模型,它具备了强大的问答和对话功能。拥有最大32K上下文,并且在授权后可免费商用!
ChatGLM2-6B的6B代表了训练参数量为60亿,同时运用了模型量化技术,意味着用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)
详细介绍(官方git:https://github.com/thudm/chatglm2-6b ):
conda env list
conda create -n ChatGLM2-6B
conda activate ChatGLM2-6B
git clone https://github.com/THUDM/ChatGLM2-6B
# 进入目录
cd ChatGLM2-6B
pip install -r requirements.txt
从 Hugging Face Hub 下载模型需要先安装Git LF
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
# 验证安装成功
git lfs install
# 如果出现: Git LFS initialized. 则说明成功
git clone https://huggingface.co/THUDM/chatglm2-6b
模型下载失败
### 国内镜像地址
git clone https://hf-mirror.com/THUDM/chatglm2-6b
下载模型时间较长,如下载失败可尝试手动下载模型
### 手动下载模型
AI快站
https://aifasthub.com/models/THUDM
手动下载以下模模文件
wget https://aifasthub.com/models/THUDM/chatglm-6b/pytorch_model-00001-of-00008.bin