技能越多，特工越差？扩展技能库时技能跟踪会降低性能

技能库允许 LLM 代理按需加载特定于任务的指令，让非专家用户通过自然语言解决特定于领域的任务，而无需知道存在哪些技能或它们如何工作。然而，随着库的增长，性能会下降——当从一小部分有用的技能扩展到包含 202 项技能的库时，性能会下降高达 21%。在这项工作中，我们将这种性能下降表述为加载已知有用技能库和完整库之间的通过率下降。此外，我们建议通过对技能调用（智能体在轨迹期间选择哪些技能）进行调节来将通过率下降分解为两种效果：\emph{技能阴影}，其中随着库的扩展，智能体更频繁地选择错误的技能；以及\emph{上下文开销}，即使选择是正确的，扩大的上下文也会降低执行能力。我们推导出这两种效应的上限，以表征它们对通过率下降的影响程度。我们对效果及其上限的经验估计都表明，\emph{技能阴影}效应随着库大小的增加而增长，并显着导致性能下降，而\emph{上下文开销}效应仍然很小，并且与零无法区分。这种观察到的不对称性表明，扩展技能库时的主要瓶颈是技能选择失败，而不是扩大的上下文。