论文

技能漂移即违反合同:主动维护 LLM 座席技能库

Skill Drift Is Contract Violation: Proactive Maintenance for LLM Agent Skill Libraries

智能体系统Agent Harness

摘要

LLM 代理越来越依赖可重用的技能库,但这些技能随着它们引用的外部服务、包、API 和配置的发展而悄然衰退。现有的监控器以错误的粒度检测此类变化:它们观察的是价值观,而不是这些价值观在技能中所扮演的角色。注释中的版本字符串是噪音;固定依赖项中的相同字符串是一项操作义务。我们将技能漂移定义为契约违规,并引入 \sgname{},它从技能文档中提取可执行的环境契约,并根据已知或实时条件仅验证那些角色承担假设。这种区别将噪声监测转变为精度第一的维护信号。无合约 CI 探针产生 40% 的误报,而 \sgname{} 在 599 个无漂移和硬阴性案例中提出零误报 (Wilson 95\% CI $[0,0.6]\%$)。在已知漂移验证中,\sgname{} 以最强的主干网实现了 100\% 的精度和 76\% 的召回率;在一项超过 49 项真实技能的预先注册研究中,它以 86% 的保守精度发现实时漂移。违反合同还可以进行修复,将一轮成功率从没有本地化的 10% 提高到 78%。我们发布了 \dbname{},一个 880 对的技能退化基准。