论文

逻辑相变:理解LLM逻辑推理中的崩溃

Logical Phase Transitions: Understanding Collapse in LLM Logical Reasoning

模型训练监督微调与指令调优

摘要

符号逻辑推理是大语言模型(LLM)一项关键却未获充分探索的能力,可在数学推理和法律判决等高风险领域提供可靠、可验证的决策。在本研究中,我们对逻辑复杂度受控增加下的逻辑推理进行了系统分析,并揭示了一个此前未被认识到的现象,我们称之为逻辑相变(Logical Phase Transitions):逻辑推理性能并非平滑退化,而是在某个区域内保持稳定,却在超过临界逻辑深度后骤然崩溃,这类似于水在超过临界温度阈值后结冰等物理相变。基于这一洞见,我们提出神经符号课程微调(Neuro-Symbolic Curriculum Tuning),一个有原则的框架,自适应地将自然语言与逻辑符号对齐以建立共享表示,并围绕相变边界重塑训练动态,以在递增的逻辑深度下逐步强化推理。在五个基准上的实验表明,我们的方法有效缓解了高复杂度下的逻辑推理崩溃,naive prompting下平均准确率提升1.26,CoT下提升3.95,同时改善了对未见逻辑组合的泛化。代码与数据发布于 https://github.com/AI4SS/Logical-Phase-Transitions。

逻辑相变:理解LLM逻辑推理中的崩溃 配图
图 1:我们的工作概览。(左)物理相变:随着温度升高,物质发生突变式的状态改变(0°C 时固态→液态,100°C 时液态→气态)。(右)逻辑相变:随着逻辑复杂度度量(Logical Complexity Metric, LoCM)增大,LLM 推理准确率急剧下降,揭示出逻辑推理中类似相变的行为。