LLM之Agent再探

发布时间:2024年01月05日


前言

重要: 阅读该文章之前,一定要先阅读:LLM之Agent初探

1、当业务中有大量的tool时,比如有上千个,这些tool的描述加起来,总长度已经大大超过了LLM的最大输入长度,即使能接受这么长的token,从attention机制来看,效果也好不到哪里去。

2、在LLM完成指令时,这几千个tool也不是都会被用上,那些没被用上的tool,且没被使用的tool占了绝大部分,大量的没被使用的tool占着大部分输入的token,造成资源的浪费,且推理性能也会有所下降。

基于以上两点考虑,尽量将与实际指令相关的tool加载进agent,丢弃那些不太可能会用到的tool是十分有必要的。

文章来源:https://blog.csdn.net/qq_44193969/article/details/135410862
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。