论文
ContractRL:用于可审计工具调用修复的屏蔽组相关策略优化
ContractRL: Shielded Group-Relative Policy Optimization for Auditable Tool-Call Repair
摘要
结构化工具调用通常会在少数字段违反架构或执行契约后失败。重新生成完整的对象会扩大作用面,并使重复修复难以审核。我们引入了 ContractRL,这是一种契约约束的顺序修复协议,它将验证者引导的 JSON 修复建模为有界决策过程。在每一步中,策略都会观察候选者、类型化验证者反馈、JSON 指针、不可变的修复历史记录和剩余预算;在确定性验证器执行转换之前,合约派生的操作掩码会过滤格式错误或禁止的 RFC-6902 操作。我们为补丁、重试和弃权决策指定了一个受合同约束的组相关目标,同时将规范目标和语义标签保持在在线状态之外,直到跟踪冻结。在相同的验证者信息下,ContractRL 获得了 0.9362 的语义成功率,生成了 34.4 个词元,而 Patch-SFT 的语义成功率为 0.9076 和 44.9 个词元,每个种子和五个种子超过 192 个案例的完全再生分别为 0.9148 和 137.2 个词元。策略优化将语义成功率从监督式 ContractRL 的 0.9186 提高到 0.9375。针对 Patch-SFT 的单独三种子配对评估产生 +0.0396 的语义差异(95% CI $[+0.0137,+0.0662], p=0.0039$)。反馈、行动模板、预算和模式转换分析将这些收益与局部修正联系起来,而对抗性和多轮评估则表征了剩余的故障模式。