教授语言模型以代码方式思考

工具集成推理 (TIR) 已成为语言模型中数学问题解决的主导范例，它将自然语言 (NL) 推理与代码执行相结合。然而，这种交错设置具有三个关键限制：代码通常充当事后验证者，中间 NL 计算容易出错，并且 NL 和代码扮演重叠的角色，而不是明显不同的角色。我们提出了 ThinC（Thinking in Code），这是一个框架，其中代码本身充当推理器，而不是作为 NL 调用的工具。 ThinC 轨迹从一个简短的 NL 规划步骤开始，之后所有推理通过仅由其执行输出连接的代码块展开。我们从教师模型中提取 12.2k 个以代码为中心的轨迹，并使用有监督的 微调 训练 ThinC-1.7B 和 ThinC-4B，然后进行强化学习。 ThinC-4B 在五个竞赛级数学基准上始终优于每个 TIR 基准，甚至超过了更大的 Qwen3-235B-A22B-Thinking。进一步分析表明，ThinC 通过代码进行推理：99.2% 的最终答案都基于解释器输出，并且模型无需中间 NL 推理即可从代码执行失败中可靠地恢复。我们的代码和模型将很快发布。