论文
验证、修复、重复还是停止?LLM智能体噪声验证修复回路的鲁棒停止
Verify, Repair, Repeat, or Stop? Robust Stopping for Noisy Verify-Repair Loops in LLM Agents
摘要
验证—修复回路是大语言模型(LLM)智能体在代码生成、数学推理与工具使用中纠正错误计划的标准手段。当验证器与修复器都有噪声时,修复可能损害本已正确的计划;报告的接受率持续上升而真实有效率下降——现有方法缺乏决定修复何时停止的原则性依据。我们提出VRR-Stop,一个面向噪声验证—修复—重复(VRR)回路的鲁棒停止框架。四参数噪声模型把验证器的假接受与假拒绝、修复器的修复与损害行为分开。信念过滤把重复验证投票转为已提交有效性的估计,回路按真实边际收益的符号决定提交或修复——这只需符号可辨识,而非精确恢复全部参数。当验证器区分度趋近零时校准本身失效、估计误差可能翻转停止符号,因此我们把VRR-Stop与VRR-Guard配对:一个免估计的回退,仅在验证余量充分时替换现任候选。在GSM8K压力设定上,VRR-Stop以平均0.72轮修复的成本,把最终真实有效率比固定五轮修复提高60.6个百分点。跨设置看,停止可靠性由验证器区分度与决策余量共同决定,而非估计误差的绝对大小。
