$S^3$：谱零空间交换使推理模型变得高效

经过思想链训练的大语言模型在推理能力方面表现出色，但通常会带来过高的词元成本。我们发现推理能力的核心在于思维模型的权重分量位于由相应的非思维模型的主导奇异方向定义的投影的零空间内，去除子空间分量可以大大提高推理效率，而不会损害思维模式训练后获得的准确性。与主要在主导子空间内进行的现有工作不同，我们是第一个揭示零空间的关键作用并利用它进行模型优化的人。受这一发现的启发，我们提出了光谱零空间交换（$S^3$），这是一种由配对的非思考和思考检查点组成的免训练组合。我们的方法将非思维模型保留在其自己的主导子空间内，并将思维检查点置于其外部，从而在保持准确性的同时提高推理效率。我们在 2B-30B 密集和专家混合 (MoE) 架构上广泛评估 $S^3$，跨越数学、多模态和音频推理领域的 28 个评估环境。 $S^3$ 在免训练模型组合策略中建立了新的经验帕累托前沿：在所有设置中，与完整的 Thinking 模型相比，它平均减少了 27.4% 的推理词元开销，同时将整体任务准确性提高了 1.0 个百分点（例如，在 HMMT25 上产生 +8.3% 的准确性，同时词元加速提高了 33.0%）。我们进一步使用注意力熵进行解释，发现保留的成分会产生更集中的注意力，并且我们使用关于优化的简化分析模型来证明为什么零空间可以有效降低注意力熵，从而提高推理效率。