论文

Ratchet:自我进化大语言模型智能体的最低卫生秘诀

Ratchet: A Minimal Hygiene Recipe for Self-Evolving LLM Agents

智能体系统Agent Skills

摘要

Voyager 首创的自我进化技能库让冻结的 LLM 代理积累可重用的知识,而无需更新权重,但最近的评估表明,LLM 创作的技能比无技能基线提供 $+0.0$pp,而人工策划的技能提供 $+16.2$pp:瓶颈不是技能创作,而是生命周期管理。我们引入了 \textbf{Ratchet},这是一个单代理循环,其中冻结的大语言模型可以编写、检索、管理和淘汰自己的自然语言技能。 Ratchet 集成了四种候选卫生机制:结果驱动的退休、有界的活跃上限、元技能创作指导和模式规范化。在 Claude Opus 4.7 的 MBPP+ Hard-100 上,Ratchet 将持有的 pass@1 从 $0.258 \pm 0.047$ 基线提升到 $0.584$ 的后期窗口滚动平均值(峰值 $0.658 \pm 0.042$),跨越 100 轮和 3 个种子,滚动平均值为 $+0.328 \pm 0.018$ 增益,其中无技能控制漂移 $+0.002 \pm 0.005$;相同的配方转移到已验证的 SWE 工作台上的代理求解器(20 轮中峰值提升 $+0.22$)。八项消融(A1--A8)表明,最小工作方案比我们的设计建议的要小:退休和元技能创作之前是承载的,而显式重复数据删除(规范化、覆盖防护)则包含在元技能本身中。无分歧命题表明,有界上限和退休门槛共同防止预期绩效低于无技能底线。