论文
SymStep:面向逻辑推理的符号步骤验证
SymStep: Symbolic Step Verification for Logical Reasoning
摘要
思维链(CoT)提示在约束密集的逻辑推理任务上可能严重失效,未经验证的错误会在各步骤间悄然累积。我们提出SymStep:LLM每次做出一个原子断言(DEDUCE: Alice, pet, Cat),然后一个轻量级约束传播器检查该断言与此前已接受推论的一致性,拒绝矛盾,并自动级联传播隐含事实。SymStep+G还在每个被接受的步骤之后提供MRV引导,把LLM导向约束最多的未决变量。在ZebraLogicBench(一个包含1,000道爱因斯坦式逻辑谜题的基准)的35题保留子集上,Direct和CoT均为0%,而SymStep+G达到97%。在AR-LSAT分析推理题上,SymStep达到100%,而CoT为87%。在LGP-14上,SymStep+G达到100%,而CoT和我们所对比的最强先前符号+LLM基线Logic-LM均为0%。消融研究显示,MRV引导是减少无方向循环的关键机制,而一致性检查则提供了针对显性矛盾的安全网。在横跨五个任务领域的六个基准上,SymStep变体在约束密集与算术任务上达到或超过所有基线。在AQUA-RAT代数上的实验证实这一优势是约束密度特异的。