面向小语言模型算术微调的结构化合成推理数据

小语言模型对本地部署有吸引力，但常在多步算术推理上挣扎。我们研究在消费级硬件约束下，结构化合成推理数据能否改善该行为。从GSM8K出发，我们用GPT-5-mini生成21,250例的小学算术应用题变体语料，组合自然语言解题轨迹、轻量苏格拉底式提示、结构变化与无关干扰上下文；随后在消费级硬件（Apple M4、16GB内存）上以LoRA微调Qwen3-0.6B与Qwen3-1.7B。GSM8K精确匹配准确率：Qwen3-0.6B从36.5%提升到49.1%，Qwen3-1.7B从53.5%提升到66.5%。Qwen3-1.7B向相关算术基准的迁移更强：MultiArith达98.9%、SVAMP达73.0%，对比基座的54.4%与45.3%。定性分析显示微调后的模型产出更短的推理轨迹、更少犯算术与干扰项使用错误，并更一致地从自一致性采样中受益。结果表明低成本的合成数据设计能实质改善小语言模型的算术适配。由于干预组合了苏格拉底式提示与其他数据设计选择，我们把增益解读为结构化合成推理数据的证据，而非对苏格拉底引导单独的因果检验。