书生·浦语大模型全链路开源体系----(1)

发布时间：2024年01月05日

书生·浦语大模型全链路开源体系

什么是大语言模型？

大语言模型是指具有大规模参数和强大语言理解能力的机器学习模型。这些模型通常使用深度学习技术，特别是递归神经网络（RNN）或变换器（Transformer）等架构。这些模型被训练以理解和生成自然语言，能够处理广泛的语言任务，包括文本生成、机器翻译、问答系统、语言理解等。
大语言模型的训练通常分为两个阶段：预训练和微调。在预训练阶段，模型通过大量的文本数据进行自我监督学习，学习语言的结构、语法和语义。在微调阶段，模型根据特定任务的标记数据进行进一步训练，以适应特定应用领域的需求。

大模型成为关键词的原因

在这里插入图片描述

大模型的发展时间线

在这里插入图片描述

以OpenAi 为代表的大模型发展
在这里插入图片描述

为什么怎么火？

大模型成为发展通用人工智能的重要途径

专用模型：针对特定任务，一个模型解决一个问题
通用模型：一个模型应对多种任务，多种模态

在这里插入图片描述

书生·浦语大模型开源历程

在这里插入图片描述

书生·浦语大模型开源系列

在这里插入图片描述

书生·浦语大模型开源性能

在这里插入图片描述

从模型到应用

在这里插入图片描述

书生·浦语大模型开源开放体系

在这里插入图片描述

书生·浦语大模型开源开放数据

在这里插入图片描述

书生·浦语大模型开源开放-预训练

在这里插入图片描述

书生·浦语大模型开源开放-微调

大语言模型的下游应用中，增量续训和有监督微调是经常会用到的两种方式，

增量续训
使用场景：让基层模型学习到一些新只是，如某个垂直领域知识
训练数据：文章，书籍，代码等

有监督微调
使用场景：让模型学会理解和遵循各种指令，或者加入少量领域知识
训练数据：高质量的对话，问答数据

在这里插入图片描述

书生·浦语大模型开源开放-评测

在这里插入图片描述

书生·浦语大模型开源开放-部署

在这里插入图片描述

书生·浦语大模型开源开放-智能体

在这里插入图片描述

Lagent

在这里插入图片描述

AgentLego

在这里插入图片描述

总结

在这里插入图片描述

文章来源:https://blog.csdn.net/weixin_55982578/article/details/135409108
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系我的编程经验分享网邮箱：chenni525@qq.com进行投诉反馈，一经查实，立即删除！

最新文章