论文

ANNEAL:经受治理的符号补丁学习适配LLM智能体

ANNEAL: Adapting LLM Agents via Governed Symbolic Patch Learning

上下文与知识知识获取与更新本体

摘要

基于 LLM 的代理可以从单个执行错误中恢复,但当底层流程知识(操作员模式、先决条件和约束)仍未修复时,它们会因同一故障而反复失败。现有的自我进化方法通过更新提示、内存或模型权重来解决这一差距,但没有一个方法可以直接修复编码任务执行方式的符号结构,也很少提供安全部署所需的治理保证。我们引入了 ANNEAL,一种神经符号代理,可将重复出现的故障转换为过程知识图的受控符号编辑,而无需修改基础模型权重。其核心机制是故障驱动知识获取(FDKA),定位负责的操作员,通过受约束的 LLM 生成合成类型化补丁,并在提交前通过多维评分、符号护栏和金丝雀测试来验证提案。每个接受的编辑都具有完整的出处和确定性回滚功能。在四个领域和 27 次多种子运行中,ANNEAL 是唯一一个进行持久结构修复的评估系统——ReAct 和 Reflexion 等强大的基线实现了较高的偶发性恢复,但在重复出现的故障上保留了 72--100% 的保留故障率,而 ANNEAL 在测试的重复故障设置中将这些故障率降低到 0%。消融证实,去除 FDKA 会消除所有结构修复,并使成功率下降高达 26.7 个百分点。这些结果表明,受控符号修复为权重级别和提示级别适应提供了补充范例,以消除持久性故障。

ANNEAL:经受治理的符号补丁学习适配LLM智能体
图 1:退火适应周期。用户请求酒店预订;由于违反策略而执行失败。 FDKA 本地化负责的操作员,合成前提条件补丁,通过评分和护栏进行验证,然后提交。使用更新的操作员重新计划成功。完整周期:<<2 分钟,无模型重新训练。