论文

LLM 代理系统中技能的缩放定律

The Scaling Laws of Skills in LLM Agent Systems

智能体系统Agent Harness

摘要

随着代理系统的扩展,技能积累到大型可重用库中,但它们的扩展规律仍然知之甚少。通过 15 个前沿 LLM、1,141 种实际技能以及超过 300 万个路由或执行决策,我们确定了两个耦合法则。路由法则:单步路由精度随库大小呈对数衰减(所有模型为 $R^2{>}0.97$),错误从局部技能竞争发展到跨族漂移,并被过于笼统的“黑洞技能”捕获。执行律:在状态实现之前,联合路由近似为乘法,而正确的执行可以将困难的下游决策改善约$4{\times}$。单个参数,路由对数衰减斜率 $b$,将两个定律结合起来:路由端拟合预测跨模型的执行端救援,表明相同的库属性控制执行前崩溃和下游可恢复性。这些法律是可操作的:法律引导的优化将保留路由的准确性从 71.3% 提高到 91.7%,将劫持率从 22.4% 减少到 4.1%,并定向转移到下游 ClawBench 和 ClawMark 执行设置,将 ClawBench 上的平均通过率从 49.3% 提高到 61.6%,将 ClawMark 上的平均通过率从 28.4% 提高到 34.5%。这些结果表明,代理性能不仅取决于模型能力,还取决于技能库的结构、粒度和公开策略。