论文
迈向对大语言模型命题逻辑推理的机制性理解
Towards a Mechanistic Understanding of Propositional Logical Reasoning in Large Language Models
摘要
理解大型语言模型(LLM)如何在内部执行逻辑推理仍是一项根本性挑战。以往的机制研究聚焦于识别任务特定回路,但未回答LLM在命题推理中采用何种计算策略。我们通过对Qwen3(8B和14B)在PropLogic-MI上的全面分析来填补这一空白,PropLogic-MI是一个覆盖一跳与两跳推理、横跨11类命题逻辑规则的受控数据集。我们不再问“哪些组件是必要的”,而是问“模型如何组织计算?”。我们的分析揭示了一个由四个相互衔接的机制构成的连贯计算架构:分阶段计算(逐层处理阶段)、信息传递(边界token处的信息流汇聚)、事实回溯(对源事实的持续重访)和特化注意力头(功能上不同的头类型)。这些机制在模型规模、规则类型和推理深度上均具泛化性,为LLM采用结构化计算策略进行逻辑推理提供了机制性证据。
