DenseSteer：引导小语言模型进行稠密数学推理

摘要

大语言模型（Large Language Model，LLM）展现出强大的思维链（CoT）推理能力，而较小模型（参数量不超过3B）在多步推理任务上明显落后。基于对Qwen-2.5模型家族在数学推理基准上的实证分析，我们发现更强的推理能力对应更少的推理步骤但每步更高的信息密度，我们将这一特性称为稠密推理（Dense Reasoning）。受此观察启发，我们提出DenseSteer，一种免训练的推理时引导框架，通过将内部表示调制向稠密推理模式来增强小模型推理。实验表明，我们的方法在不增加token级负对数似然（Negative Log-Likelihood，NLL）的情况下带来一致的准确率提升，凸显稠密推理是解决数学问题的一种有效结构化路径。

DenseSteer：引导小语言模型进行稠密数学推理：论文配图 — 图 1：GSM8K 上的推理模式分析。对于每个模型和每个 GSM8K 测试问题，我们抽取 8 个响应样本。误差线表示 ±1\pm 1 平均值标准误差 (SEM)，根据问题级别平均值计算。在 Qwen2.5-Instruct 模型中，与较小、精度较低的模型相比，更强的模型通常使用更少的推理步骤和更高的每步密度。这种粗略的趋势促使我们关注密集的、模型一致的推理。