20240104书生·浦语大模型全链路开源体系

发布时间:2024年01月08日

大模型开发流程

模型到应用的开发流程
在这里插入图片描述

上海人工智能实验室书生全链路开源

书生从训练到应用的全过程开源,包括数据准备,预训练架构InternLM-Train,微调框架XTuner,部署框架LMDeploy,评测工具OpenCompass,在应用方面智能体Lagent和智能体工具箱AgentLego。
在这里插入图片描述

数据-书生·万卷

包括超1TB的50亿个文档的文本数据、超140G的2200万个图像-文本数据集和超900G的1000多个视频数据,进行了多模态融合、精细化处理和价值观对齐等处理

InternLM-Train

  • 高可扩展,支持扩展到千卡训练
  • 极致性能优化,Hybrid Zero加速技术
  • 兼容主流,无缝接入HuggingFace等技术生态,支持各类量化技术
  • 开箱即用,支持多种规格语言模型,修改配置即可训练

微调 XTuner

大语言模型的下游应用中,增量训练和有监督微调是经常用到的两种方式

  • 增量训练,让基座模型学习到新知识
  • 有监督微调,让模型学会理解和遵循各种指令,或注入少量的领域知识

XTuner框架

  • 支持多种微调算法,多种微调策略与算法,覆盖各类SFT场景
  • 适配多种开源生态,支持HuggingFace、ModelScope模型或数据集
  • 自动优化加速,无需关注复杂的显卡优化
  • 适配多种硬件,支持NVIDIA 20系列以上的所有显卡

评测工具 OpenCompass

国内外评测工具
在这里插入图片描述
OpenCompass评测工具,是全球领先的大模型开源评测体系,包括6大维度

  • 学科,包括初中考试、高考、大学考试、语言能力考试、职业资格考试
  • 语言,字词释义、成语习语、语义相似、指代消解、翻译
  • 知识,知识问答、多语种知识问答
  • 理解,阅读理解、内容分析、内容总结
  • 推理,因果推理、常识推理、代码推理、数学推理
  • 安全,偏见、有害性、公平性、隐私性、真实性、合法性

工具层、方法层、能力层和模型层
在这里插入图片描述

部署 LMDeploy

大模型部署的挑战
在这里插入图片描述
LMDeploy框架

  • 高效推理引擎,持续批量处理技巧,深度优化的低比特计算kernel,模型并行,高效的k/v缓存机制
  • 完备易用的工具链,量化、推理、服务全流程,无缝对接OpenCompass评测推理精度,与OpenAI接口高度兼容

智能体 Lagent

  • 支持多种类型的智能体能力,包括ReAct、ReWoo、AutoGPT
  • 灵活支持多种大语言模型,包括GPT-3.5/4、Llama、InternLM
  • 支持丰富的工具,包括AI工具(文生图、文生语音)、能力拓展(搜索、计算器、代码解释器)、Rapid API(出行API、财经API)
    在这里插入图片描述

智能体工具箱 AgentLego

  • 支持多模态任务
  • 支持主流智能体系统,LangChain、Transformers Agent、Lagent
  • 多模态工具接口
文章来源:https://blog.csdn.net/m0_49289284/article/details/135377601
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。