大模型Agent

发布时间:2024年01月17日

一、背景知识

LLM的一些缺点

1.会产生幻觉。

2.结果并不总是真实的。

3.对时事的了解有限或一无所知。

4.很难应对复杂的计算。

解决方式:加上外部工具

?Google搜索:获取最新信息

?Python REPL:执行代码

?Wolfram:进行复杂的计算

?外部API:获取特定信息

大模型 + 插件 + 执行流程 = Agent

二、Agent框架

LLM-based Agent 框架包含三个组成部分:控制端(Brain)、感知端(Perception)和行动端 (Action)。

1、控制端:Brain

自然语言交互:高质量文本生成 和 言外之意的理解(chatgpt,chatglm ,llama)

知识:基于大批量语料训练的 LLMs,拥有了存储海量知识(Knowledge)的能力。除了语言知识以外, 常识知识和专业技能知识都是 LLM-based Agents 的重要组成部分。(Langchain)

记忆力:长期记忆vs短期记忆。

  • 扩充记忆的方法扩展 Backbone 架构的长度限制:针对 Transformers 固有的序列长度限制问题进行改进。
  • 总结记忆(Summarizing):对记忆进行摘要总结,增强代理从记忆中提取关键细节的能力。
  • 压缩记忆(Compressing):通过使用向量或适当的数据结构对记忆进行压缩,可以提高记忆检索效率 特朗普时期,阿里巴巴的CTO是谁?

推理 & 规划:将复杂任务分解为更易于管理的子任务。在制定计划后,可以进行反思并评估其优劣。

迁移性 & 泛化性:

  • 对未知任务的泛化
  • 情景学习(In-context Learning),见人说人话,见鬼说鬼话
  • 持续学习

2、感知端:大模型行的耳朵和眼睛

文本输入

视觉输入:图片->文本 图片->编码

听觉输入

其他输入

3、行动端:Action 大模型的手和脚

文本输出:LLMs 最基础的能力

计算微积分,计算泛函,

工具使用:尽管 LLMs 拥有出色的知识储备和专业能力,但在面对具体问题时,也可能会出现鲁棒 性问题、幻觉等一系列挑战。与此同时,工具作为使用者能力的扩展,可以在专业性、事实性、可 解释性等方面提供帮助。例如,可以通过使用计算器来计算数学问题、使用搜索引擎来搜寻实时信 息。

其他模型:调用语音生成、图像生成等专家模型,来获得多模态的行动方式。

三、另一种Agent架构

人设+激励+问题拆解+行动能力

四、常见的Agent实现

1、使用专业工具

用大模型理解任务,然后调用专业工具解决

大模型:语言理解力强,缺点:模型出现幻觉,需要精心设计prompt,需要依赖外界工具 Agent

大模型+各式各样的工具辅助

外界专业工具

2、辅助记忆力

  • 文档存储规章制度
  • 根据问题检索文档
  • 问题+相关文档输入大模型

常用在垂直领域搭建大模型

3、各种外部工具辅助

两种工具类型

  • 辅助输入:辅助记忆,辅助实时信息
  • 辅助输出:结果通过工具生成

通过外挂使大模型具备实时性和解决复杂问题的能力

4、提示词工程 Prompt

核心仍然是大模型的理解能力,不同模型有对应不同的提示词

(1)AutoGPT

Prompt提示词包括:

  • 限制和资源
  • 工具
  • 性能评估
  • 返回格式

(2)BabyAGI

  • 复杂的任务通过大模型分解成子任务
  • 大模型多次执行子任务
  • 最终得到结果

我想泡茶,应该怎么操作?

  • 第一次大模型的结果:输入:我想泡茶,应该怎么操作?回答:需要做如下几步: ①.烧开水 ②.把茶叶放到杯子里 ③.把开水倒进杯子里
  • 第二次大模型的结果:输入:我要烧开水 回答:把凉水放进水壶, 接通电源
  • 第三次大模型行的结果: 输入:把茶叶放进杯子里 回答:从茶叶罐取得茶叶。

任务太复杂时,可以用这种方式解决,核心难点是设计这个流程。

5、HuggingGPT

任务:生成一个小女孩读书的图片,她的体态和上述图片一 样。

解决过程:

  • 建模体态:图片输入体态控制模型
  • 体态到图片:输入文本为A reading girl,资源为体态
  • 目标检测:将小女孩框出来,图片到文本
  • 语音播报:文本转语音

过程分析:

  • 任务的分解: 把复杂任务按顺序进行分解
  • 调用其他模型: 体态控制模型、体态生成图片模型、目标检测模型、语音播报模型 ……

缺点:链路过长,如果某一个环节出现了问题,后续都会出问题。

6、LLAMAIndex

辅助模型的记忆能力

  • 列表索引:关键词检索。
  • 向量存储索引:向量检索。
  • 树索引:把数据和知识以不同的结构存储起来,然后通过不同检索方式获取知识。
  • 知识图谱索引:在一组文档上提取形式为(主语、谓语、宾语)的知识三元组来构建索引。

7、思维链

(1)one-shot:例子(问题+答案)+ 类似的问题让LLM回答

只告诉了答案,没有讲怎么算的答案,因此,难以泛化到复杂问题。

(2)COT:例子(问题+计算过程和答案)+ 类似的问题让LLM回答

给LLM拆解计算过程,引导它一步步计算。

(3)COT-SC:LLM输出具备随机性,选出现结果最多的作为答案,是一种投票机制。

可以一个模型问多次,输出出现次数最多的结果。

也可以问不同的模型多次,输出出现次数最多的结果。

(4)TOT:具备搜索、评估、回溯的能力。

24点游戏:让大模型对树进行递归和剪枝运算。

COT

五、Agent总结

1、给大模型加外挂

(1)外挂辅助输入(今天北京的天气如何) 外部调用日历:2023-10-17

(2)外挂输出:日期:2023-10-17,目标:天气,调用工具:气象接口

2、思维链条

把复杂的问题进行拆解,不指望大模型一次回答出来,多调用几次大模型,解决复杂问题。

3、prompt 设计模式

CoT+prompt:给出指令,同时也给出执行任务过程的拆解或者样例。

(1)“自我审视”,提醒模型在产出结果之前,先自我审视一下,看看是否有更好的方案。也可以拿到结果后再调用一下模型强制审视一下。比如 AutoGPT 里的 “Constructively self-criticize your big-picture behavior constantly”。

(2)分而治之,越是具体的context 和目标,模型往往完成得越好。所以把任务拆细再来应用模型,往往比让它一次性把整个任务做完效果要好。

(3)先计划,后执行。BabyAGI,HuggingGPT 和 Generative Agents 都应用了这个模式。也可以扩展这个模式,例如在计划阶段让模型主动来提出问题,澄清目标,或者给出一些可能的方案,再由人工 review 来进行确认或者给出反馈,减少目标偏离的可能。

(4)记忆系统,包括短期记忆和长期记忆的存储、加工和提取等。这个模式同样在几乎所有的 agent 项目里都有应用,也是目前能体现一些模型的实时学习能力的方案。

六、Agent的作用

如果说大模型是电池,那么agent就是一辆电动车。

大模型是核心能力,Agent就是最终交付的产品。

最终产品 Agent的缺点:

(1)依赖大模型的核心能力,大模型本身够强才行。

(2)链路过长,某一环节出错,前功尽弃。(用多次调用选出现最多的结果规避风险)

(3)多次调用模型,效率不高。

(4)迁移能力弱,换模型需要重新写提示词。

(5)能力强弱,取决于写提示词的水平。

七、Agent的未来展望

大模型能力是有上限的

端到端虽然理想,但是复杂问题很难解决

Agent这种拆解形式,会更加流行

文章来源:https://blog.csdn.net/weixin_43409127/article/details/135653994
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。