论文
DeltaLogic:最小前提编辑揭示逻辑推理模型中的信念修正失败
DeltaLogic: Minimal Premise Edits Reveal Belief-Revision Failures in Logical Reasoning Models
摘要
推理基准通常评估模型能否从固定前提集推出正确答案,但低估了一项在动态环境中至关重要的相关能力:在最小证据变化下的信念修正。我们提出DeltaLogic,一种将自然语言推理样例转换为简短修正片段的基准转换协议。每个片段先要求在前提P下给出初始结论,随后施加最小编辑δ(P),最后询问先前的结论应保持稳定还是应当修正。我们基于FOLIO和ProofWriter实例化DeltaLogic,并用受约束的标签打分评估小型因果语言模型。在已完成的30个片段的Qwen评估子集上,更强的初始推理仍不意味着更强的修正行为:Qwen3-1.7B的初始准确率为0.667,但修正准确率仅0.467,在金标准标签应当改变的片段上惯性率升至0.600,而Qwen3-0.6B则退化为几乎普遍弃答。在此基础上,Qwen3-4B保持了同样的惯性失败模式(初始0.650、修正0.450、惯性0.600),而Phi-4-mini-instruct明显更强(初始0.950、修正0.850),但仍表现出不可忽视的弃答与对照不稳定。这些结果表明,固定前提下的逻辑能力并不意味着局部证据编辑后有纪律的信念修正。因此,DeltaLogic针对一项独特且具有实践重要性的推理能力,与现有的逻辑推理和信念更新基准形成互补。