论文

库漂移:诊断与修复自进化LLM技能库中的一种静默失效模式

Library Drift: Diagnosing and Fixing a Silent Failure Mode in Self-Evolving LLM Skill Libraries

智能体系统Agent Skills

摘要

自进化技能库面临一种我们称之为库漂移(library drift)的静默失效模式:缺乏结果驱动的生命周期管理、无节制地积累技能,会导致检索退化、误注入与性能停滞。近期评估证实了该症状(SkillsBench上,LLM撰写的技能带来+0.0pp增益,而人工精选的技能带来+16.2pp),但其底层机制尚未被分离出来。我们提供(1)可复现的触发条件:分离漂移的消融实验——一组禁用技能注入(平坦底线,+0.002),一组强制过早退役(主动造成伤害,$-$0.019);(2)追踪级诊断:只追加的证据日志,包含每技能贡献分、归因判定与路由器启用指标,在故障传导到端到端任务分数之前使其可见;(3)经验证的修复:一套最小治理配方(结果驱动退役+有界活跃上限+元技能撰写先验),在MBPP+ hard-100上经100轮将留出pass@1从0.258基线提升至后期窗口均值0.584(滚动增益+0.328)。八组消融分解出哪些治理机制承重、哪些被涵盖,为诊断任何自进化智能体中的库漂移提供了具体操作手册。