论文
让 Agent 更一致:重复任务中技能应成为习惯
Making Agents More Consistent: Skills Should Form Habits for Repeat Tasks
摘要
在重复性工作上,Agent 的表现不一致。我们将 42 个任务各运行三次,发现视模型而定,38% 到 74% 的回答彼此不一致。一致性是买方、审计者和监管者所要求的,而 Agent 并不具备。它们还很浪费:Agent 生成的 95.3% 到 97.2% 都用于重新推导系统已经知道的计划。我们提出技能习惯化(skill habit formation)。Agent 从自身执行历史中挖掘候选技能——与在任技能竞争而非直接替换的确定性变体。候选技能声明它所认领的输入空间区域,使常见情形作为脚本运行,其余回落到推理。四级成本递增的门控准入候选技能;核心门控将候选的执行轨迹与留存的参照比对,容差依据参照自身运行间的波动测量。在 text-to-SQL 上,四个推理臂中有三个在 42 个重复问题中的 11 至 13 个上复现自身输出,第四个为 26/42,而习惯化变体在重复的全部 456 次调度上都成功复现,且相对其替换的每个推理臂均不劣(p<0.0001)。它还节省 14% 到 56% 的 token,在 7 到 53 次复用后转为净收益。我们测量了准确率代价:护栏在 2.6% 的自然改写和 26% 的边界附近输入上放行了本应回避的工作,且 13 次此类失败中有 11 次在任何阈值下都逃过了轨迹符合性门控。确定性错误会精确复现:坏习惯与好习惯同样可靠,这正是使系统可审计的性质所付出的代价。将路由与参数抽取分离后,端到端准确率从 0.888 提至 0.952,成本仅为 43%。