书生·浦语大模型全链路开源开放体系

发布时间：2024年01月03日

书生·浦语大模型全链路开源开放体系

大模型成为热门关键词

在这里插入图片描述
大模型成为发展通用人工智能的重要途径

在这里插入图片描述

书生·浦语大模型开源历程

在这里插入图片描述
在这里插入图片描述

书生·浦语20B开源大模型性能

  • 全面领先相近量级的开源模型（包含Llama-33B、Llama2-13B以及国内主流的7B、13B开源模型）
  • 以不足三分之一的参数量，达到Llama2-70B水平
    在这里插入图片描述

从模型到应用

在这里插入图片描述

书生·浦语全链路开源开放体系

在这里插入图片描述

数据

在这里插入图片描述
总数据量 2TB
包含：

  • 文本数据 50亿个文档
  • 图像-文本数据集 2200万个文件
  • 视频数据 超1000个文件
    在这里插入图片描述

预训练

在这里插入图片描述

微调

  • 增量续训
    • 垂直领域知识 文章、书籍、代码等
  • 有监督微调
    • 高质量的对话、问答数据
      在这里插入图片描述

评测

在这里插入图片描述提出了OpenCompass评测体系
6大维度 80+评测集、40万+评测题目
在这里插入图片描述
在这里插入图片描述

部署

在这里插入图片描述
在这里插入图片描述

智能体

在这里插入图片描述
局限：

  • 最新信息和知识的获取
  • 回复的可靠性
  • 数学计算
  • 工具使用和交互
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
文章来源:https://blog.csdn.net/shengweiit/article/details/135372800
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章