20240104书生·浦语大模型全链路开源体系

大模型开发流程

模型到应用的开发流程

上海人工智能实验室书生全链路开源

书生从训练到应用的全过程开源，包括数据准备，预训练架构InternLM-Train，微调框架XTuner，部署框架LMDeploy，评测工具OpenCompass，在应用方面智能体Lagent和智能体工具箱AgentLego。

数据-书生·万卷

包括超1TB的50亿个文档的文本数据、超140G的2200万个图像-文本数据集和超900G的1000多个视频数据，进行了多模态融合、精细化处理和价值观对齐等处理

InternLM-Train

• 高可扩展，支持扩展到千卡训练
• 极致性能优化，Hybrid Zero加速技术
• 兼容主流，无缝接入HuggingFace等技术生态，支持各类量化技术
• 开箱即用，支持多种规格语言模型，修改配置即可训练

微调 XTuner

大语言模型的下游应用中，增量训练和有监督微调是经常用到的两种方式

• 增量训练，让基座模型学习到新知识
• 有监督微调，让模型学会理解和遵循各种指令，或注入少量的领域知识

XTuner框架

• 支持多种微调算法，多种微调策略与算法，覆盖各类SFT场景
• 适配多种开源生态，支持HuggingFace、ModelScope模型或数据集
• 自动优化加速，无需关注复杂的显卡优化
• 适配多种硬件，支持NVIDIA 20系列以上的所有显卡

评测工具 OpenCompass

国内外评测工具

OpenCompass评测工具，是全球领先的大模型开源评测体系，包括6大维度

• 学科，包括初中考试、高考、大学考试、语言能力考试、职业资格考试
• 语言，字词释义、成语习语、语义相似、指代消解、翻译
• 知识，知识问答、多语种知识问答
• 理解，阅读理解、内容分析、内容总结
• 推理，因果推理、常识推理、代码推理、数学推理
• 安全，偏见、有害性、公平性、隐私性、真实性、合法性

工具层、方法层、能力层和模型层

部署 LMDeploy

大模型部署的挑战

LMDeploy框架

• 高效推理引擎，持续批量处理技巧，深度优化的低比特计算kernel，模型并行，高效的k/v缓存机制
• 完备易用的工具链，量化、推理、服务全流程，无缝对接OpenCompass评测推理精度，与OpenAI接口高度兼容

智能体 Lagent

• 支持多种类型的智能体能力，包括ReAct、ReWoo、AutoGPT
• 灵活支持多种大语言模型，包括GPT-3.5/4、Llama、InternLM
• 支持丰富的工具，包括AI工具（文生图、文生语音）、能力拓展（搜索、计算器、代码解释器）、Rapid API（出行API、财经API）
  

智能体工具箱 AgentLego

• 支持多模态任务
• 支持主流智能体系统，LangChain、Transformers Agent、Lagent
• 多模态工具接口