论文
具有可证明双准则保证的LLM智能体最优技能选择
Optimal Skill Selection for LLM Agents with Provable Bicriteria Guarantees
摘要
将可复用的技能文档加载进有限的上下文窗口,已成为大语言模型(LLM)Agent获取任务特定能力的主要方式,因此技能选择直接影响任务性能与token成本。然而,现有Agent通常按语义相关性逐个为技能打分,再通过top-k或贪心装填组成技能集合,既没有集合质量保证,也缺少成本考量。冗余或选择不当的技能会浪费上下文token,甚至降低性能。我们提出一个描述所选技能集合如何影响执行结果的模型,并将技能选择定义为优化问题:在硬性token预算下,选择技能集合,使单调次模收益减去上下文惩罚后的目标最大化。为此,我们开发了多项式时间算法Best Prefix Selection(BPS),并据我们所知首次给出技能选择的性能保证:双准则(1-1/e, 1)近似,其收益系数在多项式时间内为最优。在一个控制数据污染的BigCodeBench变体上,BPS优于全部基线,实测任务成功率为0.73,而已发布的技能路由器、文本检索器和执行模型自行选择的成功率为0.20—0.52;相较最强的已发布路由器,BPS还减少了28%的token用量。
