论文
Kintsugi:通过修复可执行知识库来学习策略
Kintsugi: Learning Policies by Repairing Executable Knowledge Bases
摘要
现代实体代理取得了令人印象深刻的性能,但它们的任务知识通常存储在神经权重、潜在状态或提示绑定记忆中,使得个体策略知识难以检查、验证、重组和重用。我们引入了 \textbf{Kintsugi},一个白盒策略学习框架,它将具体策略改进视为类型化可执行知识库(KB)的验证者门控构建。 Kintsugi 将任务级策略知识表示为可组合的类型条目(谓词、运算符、策略模式、监视器、恢复规则、经验记录和目标),并通过从采样轨迹证据中引入的本地化类型编辑来改进此工件,而不是依赖于测试时语言模型推理。在采样轨迹之间,工具约束的代理编辑循环会诊断轨迹故障,将其定位到可编辑的知识库层,并提出候选编辑。仅当候选类型检查、生成的知识库执行并且重点验证成功或轨迹健康指标得到改善且不违反受保护的回归检查时,确定性验证门才允许编辑。在推理时,接受的 KB 由确定性符号执行器执行,LLM 调用为零。在长期文本代理基准测试和代表性的以对象为中心的操作设置中,Kintsugi 实现了强大的端点性能,同时保留了可检查性、本地可编辑性和验证者门控部署。这些结果表明,具体的政策改进可以围绕可执行的任务知识进行组织。