大模型实战营 Day5作业

发布时间：2024年01月23日

基础作业：

使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型，生成 300 字的小故事（需截图）

TurboMind 推理+命令行本地对话
lmdeploy chat turbomind /share/temp/model_repos/internlm-chat-7b/ ?--model-name internlm-chat-7b
?

TurboMind推理+API服务

一个终端

lmdeploy serve api_server ./workspace \
> --server_name 0.0.0.0 \
> --server_port 23333 \
> --instance_num 64 \
> --tp 1
?
?
另一个终端?

lmdeploy serve gradio http://0.0.0.0:23333 \
> --server_name 0.0.0.0 \
> --server_port 6006 \
> --restful_api True

网页 Demo 演示：

文章来源:https://blog.csdn.net/m0_72806612/article/details/135761029
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系我的编程经验分享网邮箱：chenni525@qq.com进行投诉反馈，一经查实，立即删除！