Baichuan2百川模型部署的bug汇总

发布时间：2024年01月17日

1.4bit的量化版本最好不要在Windows系统中运行，大概原因报错原因是bitsandbytes不支持window，bitsandbytes-windows目前仅支持8bit量化。

2.在这里插入图片描述

报错原因是机器没有足够的内存和显存，offload_folder设置一个文件夹来保存那些离线加载到硬盘的权重。
ag：需要再cli_demo.py的文件中增加
在这里插入图片描述

offload_folder="offload" model.float()

3.安装对应的cuda版本 Python版本 pytorch版本
读者有bug可以在评论区留言，我会尽可能回复解答

文章来源:https://blog.csdn.net/lsf_007/article/details/135643129
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章