大模型学习第五课

学习目标：

• LMDeploy大模型量化部署实践

学习内容：

1. 大模型部署背景
2. LMDeploy简介
3. 动手实践环节

学习时间：

• 20240115

学习产出：

1，大模型部署背景

? ? ? ? 模型部署

? ? ? ? ? ? ? ? 定义，产品形态，计算设备

? ? ? ? 大模型特点

? ? ? ? ? ? ? ? 内存开销巨大，动态shape，相对视觉模型，LLM结构简单

? ? ? ? 大模型部署挑战

? ? ? ? ? ? ? ? 设备，推理，服务

? ? ? ? 大模型部署方案

? ? ? ? ? ? ? ? 技术点，方案

2，LMDeploy简介

? ? ? ? 是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化，推理和服务。

? ? ? ? 推理性能

? ? ? ? 核心功能-量化，推理引擎TurboMind，推理服务api server

3，动手实践环节-安装、部署、量化