论文

SkillSentry:借助运行时保障实现LLM智能体的可靠技能执行

SkillSentry: Reliable Skill Execution for LLM Agents via Runtime Assurance

智能体系统Agent 动作执行与治理Agent HarnessAgent Skills

摘要

LLM 智能体日益配备技能,通过多步推理和工具使用执行复杂任务。尽管技能提供了可复用的程序性知识,智能体仍可能不可靠地执行它们。即使智能体已展示出在技能指导下完成任务的能力,由于偏离技能流程或错误执行单个步骤,它可能无法在相似任务或重复运行中一致地完成任务。这种不稳定性限制了 LLM 智能体的实际可靠性。为解决该问题,我们提出 SkillSentry,一个面向技能的运行时保障框架,构建于一种用于表示技能执行运行时指导的新型领域特定语言(DSL)之上。SkillSentry 通过结合从对应技能文档提取的技能规范与从历史成功和失败轨迹中挖掘的执行经验来初始化运行时指导,随后包裹智能体执行循环,在当前指导之下监控并引导技能执行,同时利用新收集的轨迹迭代精炼指导。我们在两个 LLM 智能体(即分别搭配 Claude-Haiku-4.5 和 Claude-Opus-4.6 的 Claude Code,以及搭配 GPT-5.2 和 GPT-5.4 的 Codex)上评估 15 项技能。结果显示,SkillSentry 平均将 LLM 智能体的任务成功率提升 24.1%,同时在重复运行中表现出更低的波动性。

SkillSentry:借助运行时保障实现LLM智能体的可靠技能执行:论文配图
图3:SkillSentry方法概览