ubuntu下llama2的api远程调用

发布时间：2024年01月13日

conda activate llamachinese

cd /home/cys/Llama2-Chinese/scripts/api

python accelerate_server.py --model_path /media/cys/c4e58bbe-a73a-4b02-ae9e-2b310ee884fb/chinese-llama-2-13b --gpus "0" --infer_dtype "int8" --model_source "llama2_chinese"

?

?运行结果：

文章来源:https://blog.csdn.net/WASEFADG/article/details/135576601
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章