论文

多轮约束推理中残余漂移压倒矛盾

Residual Drift Dominates Contradiction in Multi-Turn Constraint Reasoning

模型评测基准与评测资源

摘要

多轮推理系统是如何失败的?预期的答案是逻辑矛盾,即系统维护的状态变得不可满足。我们表明,主导模式其实是可满足的漂移:内部状态保持一致,而返回的答案悄然违背先前承诺。我们构建了DRIFT-Bench(Decomposing Reasoning Into Failure Types),一个经求解器插桩的基准,涵盖三个约束领域的816个测试问题,并在其上对四个开放权重模型(8B-120B参数)评估四种方法。将最小不可满足子集(MUS)回传给生成器的MUS-Repair在所有设置中最强(比最佳非MUS基线高1.8至15.0个百分点)。但核心发现在于修复之后留下了什么。经过结构化反馈后,模型很少自相矛盾。它们会遗忘。在所有设置中,残余错误98-100%为可满足漂移,而矛盾降至接近零。可靠的多轮系统必须单独验证返回的答案是否遵循所维护的状态。代码发布于https://github.com/kaons-research/drift-bench。