结构化反馈改进了 LLM 代理循环中的修复

LLM 代理通常会在外部验证拒绝候选者后重试，但验证与下一个模型调用之间的接口仍然未指定。我们引入了 VeriHarness，这是一种代码控制的代理循环，其中模型生成候选者，而外部验证器控制接受、预算和跟踪。我们用它来将原始诊断与识别故障位置、观察值和可接受的替代方案的反馈进行比较。在四次调用上限下的 50 个配对 TextWorld 游戏中，包含所有三个字段的反馈将 Qwen2.5-Coder-14B 的最终成功率从 14/50 提高到 36/50（+44 个百分点），将 Llama-3.1-8B 的最终成功率从 8/50 提高到 29/50（+42 个百分点）。消融将大部分增益定位在可接受的替代方案中：仅包含位置和观察值的反馈仍然接近原始诊断基线。以散文形式呈现完整的修复信息而不是带密钥的 JSON 记录几乎可以获得相同的成功，但没有提供任何证据表明 JSON 语法本身可以改善修复。该顺序在测试的呼叫预算和一种采样解码设置中保持不变。