论文

迈向对大语言模型命题逻辑推理的机制性理解

Towards a Mechanistic Understanding of Propositional Logical Reasoning in Large Language Models

模型评测模型行为与机制分析

摘要

理解大型语言模型(LLM)如何在内部执行逻辑推理仍是一项根本性挑战。以往的机制研究聚焦于识别任务特定回路,但未回答LLM在命题推理中采用何种计算策略。我们通过对Qwen3(8B和14B)在PropLogic-MI上的全面分析来填补这一空白,PropLogic-MI是一个覆盖一跳与两跳推理、横跨11类命题逻辑规则的受控数据集。我们不再问“哪些组件是必要的”,而是问“模型如何组织计算?”。我们的分析揭示了一个由四个相互衔接的机制构成的连贯计算架构:分阶段计算(逐层处理阶段)、信息传递(边界token处的信息流汇聚)、事实回溯(对源事实的持续重访)和特化注意力头(功能上不同的头类型)。这些机制在模型规模、规则类型和推理深度上均具泛化性,为LLM采用结构化计算策略进行逻辑推理提供了机制性证据。

迈向对大型语言模型命题逻辑推理的机制性理解 配图
图 1:Qwen3 中命题逻辑推理机制概览。(a) 分阶段计算(Staged Computation):MLP 补丁揭示逐层的处理阶段。(b) 信息传输(Information Transmission):语义内容汇聚于片段末端 token。(c) 事实回溯(Fact Retrospection):事实 token 在深度方向上保持持续的因果影响。(d) 专用注意力头(Specialized Attention Heads):专用头实现这些宏观机制。