书生·浦语大模型全链路开源体系-Lesson2

课程视频地址：轻松玩转书生·浦语大模型趣味Demo_哔哩哔哩_bilibili

一、大模型及InternLM模型介绍

什么是大模型？

? ? ? ? 人工智能领域中参数数量巨大、拥有庞大计算能力和参数模型的模型。

??大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如?Transformer、BERT、GPT（ Generative Pre-trained Transformer ）等。

??大模型的优势在于其能够捕捉和理解数据中更为复杂、抽象的特征和关系。通过大规模参数的学习，它们可以提高在各种任务上的泛化能力，并在未经过大量特定领域数据训练的情况下实现较好的表现。然而，大模型也面临着一些挑战，比如巨大的计算资源需求、高昂的训练成本、对大规模数据的依赖以及模型的可解释性等问题。因此，大模型的应用和发展也需要在性能、成本和道德等多个方面进行权衡和考量。

特点及应用

InternLM：

1、InternLM-Chat-7B

1.1 调整参数说明

（1）Temperature：质量、多样性和Temperature：temperature这个参数可以告诉机器如何在质量和多样性之间进行权衡。较低的 temperature 意味着更高的质量，而较高的 temperature 意味着更高的多样性。当 temperature 设置为零时，模型总是会选择具有最高可能性分数的token，从而导致模型生成的回复缺乏多样性，但却能确保总是选择模型评估出的最高质量的token来生成回复。

需要注意的是，虽然理论上 temperature 为零应该每次产生相同的答案，但在实践中可能并非如此！这是因为模型运行在 GPU 上，可能容易出现微小的计算错误，例如四舍五入产生的误差。即使在 temperature 为零的情况下，这些误差会在计算中引入低水平的随机性。由于更改文本中的一个token可能会大大改变文本的含义，一个微小的错误可能会导致文本后序的token选择发生级联变化，从而导致几乎完全不同的输出结果。但请放心，这通常对质量的影响微乎其微。我们提到这一点，只是以免让你在 temperature 为零时输出结果出现一些随机性而感到惊讶。

有很多方法可以让模型在质量和多样性之间进行权衡，而不是仅受 temperature 的影响。在下一节中，我们将讨论对 temperature 选择技术的一些修改。但是，如果您对将 temperature 设置为 0 很满意，可以暂时跳过这部分内容。在 temperature 为零时这些参数不会影响模型的回复，您可以放心地设置。

简而言之：增加 temperature 可以增加模型输出的随机性，从而提高了回复的多样性，但降低了质量。

（2）top-p sampling

top-p sampling是一种既能保证输出内容多样性，又能在保持内容质量的成本上比单纯使用 temperature 更加低的方法。由于这种技术非常有效，因此激发了许多方法变体的出现。

有一种常见的 top-k sampling 变体被称为 top-p sampling ，也被称为 nucleus sampling 。top-p sampling 与 top-k sampling 非常相似，只是它使用可能性分数（likelihood scores）而不是token排名（token ranks）来决定应保留哪些token。更具体地说，它只考虑那些可能性分数超过阈值p的排名靠前的token，而将其余的token丢弃。

与 top-k sampling 相比，top-p sampling 的优势在有许多较差或平庸的序列后续词时就会显现出来。例如，假设下一个token只有几个比较好的选择，却有几十个只是隐约挨边的选择。如果我们使用 k=25 的 top-k sampling（译者注：k代表的是保留的token数量） ，我们将考虑许多较差的token选择。相比之下，如果我们使用 top-p sampling 来过滤掉概率分布中最底层的 10%（译者注：将token的可能性概率从大到小排序，只保留从概率最大开始、累积概率之和达到90%为止的tokens)，那么我们可能只需要考虑那些分数较高的token，同时过滤掉其他的token。

在实际应用中，与 top-k sampling 相比，top-p sampling 往往能够获得更好的效果。它能够更加适应输入的上下文，并提供更灵活的筛选。因此，总的来说，top-p和top-k sampling 都可以在非零的 temperature 下使用，以较低的质量成本获取输出内容的多样性，但 top-p sampling 通常效果更好。

1.1备忘单：

将参数设为零的规则：

temperature：

• 对于每个提示语只需要单个答案：零。
• 对于每个提示语需要多个答案：非零。

Top-p/Top-k：

• 在 temperature 为零的情况下：输出不受影响。
• 在 temperature 不为零的情况下：非零。

2、Lagent

主要特点

• 支持高性能推理.?我们现在支持了高性能推理?lmdeploy turbomind.

• 实现了多种类型的智能体，?我们支持了经典的?ReAct，AutoGPT?和?ReWoo?等智能体，这些智能体能够调用大语言模型进行多轮的推理和工具调用。

• 框架简单易拓展.?框架的代码结构清晰且简单，只需要不到20行代码你就能够创造出一个你自己的智能体（agent）。同时我们支持了 Python 解释器、API 调用和搜索三类常用典型工具。

• 灵活支持多个大语言模型.?我们提供了多种大语言模型支持，包括 InternLM、Llama-2 等开源模型和 GPT-4/3.5 等基于 API 的闭源模型。

3、InternLM-Xcomposer-7B

浦语·灵笔是基于书生·浦语大语言模型研发的视觉-语言大模型，提供出色的图文理解和创作能力，具有多项优势：

• 图文交错创作: 浦语·灵笔可以为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。这一能力由以下步骤实现：

  1. 理解用户指令，创作符合要求的长文章。
  2. 智能分析文章，自动规划插图的理想位置，确定图像内容需求。
  3. 多层次智能筛选，从图库中锁定最完美的图片。

• 基于丰富多模态知识的图文理解: 浦语·灵笔设计了高效的训练策略，为模型注入海量的多模态概念和知识数据，赋予其强大的图文理解和对话能力。

• 杰出性能: 浦语·灵笔在多项视觉语言大模型的主流评测上均取得了最佳性能，包括MME Benchmark?(英文评测),?MMBench?(英文评测),?Seed-Bench?(英文评测),?CCBench(中文评测),?MMBench-CN?(中文评测).