重要: 阅读该文章之前,一定要先阅读:LLM之Agent初探
1、当业务中有大量的tool
时,比如有上千个,这些tool
的描述加起来,总长度已经大大超过了LLM的最大输入长度,即使能接受这么长的token
,从attention
机制来看,效果也好不到哪里去。
2、在LLM完成指令时,这几千个tool
也不是都会被用上,那些没被用上的tool
,且没被使用的tool
占了绝大部分,大量的没被使用的tool
占着大部分输入的token
,造成资源的浪费,且推理性能也会有所下降。
基于以上两点考虑,尽量将与实际指令相关的tool
加载进agent
,丢弃那些不太可能会用到的tool
是十分有必要的。