MindLoom：组合思维模式以合成前沿级推理数据

摘要

尽管 LLM 在推理方面进展显著，系统性地产出前沿级推理数据仍然困难。现有合成方法往往难以看清支配问题难度的结构性因素，导致多样性狭窄、难度控制不稳定。在这项工作中，我们将推理问题的难度视为原子性知识-推理变换的累积结果，并将其称为思维模式。基于这一视角，我们提出 MindLoom，一个通过组合式思维模式工程来合成前沿级推理数据的框架。给定一组带已验证解法的难题，MindLoom 首先将这些解法分解为思维模式链，揭示每个问题的构造逻辑。随后训练一个将问题状态与兼容思维模式相匹配的检索模型，为合成时应引入哪些推理挑战提供指导。新问题通过将检索到的思维模式迭代应用于种子问题来组合，并采用分布对齐采样以促进多样化的推理覆盖。最后，基于 rollout 的评审阶段为生成的问题标注难度，并为监督微调提供经判定正确的响应。我们在覆盖五个 STEM 学科的九个基准以及四个数学推理任务上评估 MindLoom，涉及多个模型家族与规模。在 MindLoom 生成数据上微调的模型在所报告的全部基准上均优于基础模型、蒸馏及外部数据基线。消融研究验证了各组件的贡献，进一步分析表明 MindLoom 覆盖广泛的推理模式，同时保持有效的难度控制。我们的实现已开源发布于 https://github.com/EachSheep/MindLoom。

MindLoom：组合思维模式以合成前沿级推理数据：论文配图 — 图 1：MindLoom 管道概述。步骤 1：经过验证的解决方案的难题被逆向工程到思维模式链中，填充思维模式库ℬ\mathcal{B}。步骤 2：训练对 (Qi−1,𝒯i+)(Q_{i-1},\mathcal{T}_{i}^{+}) 和挖掘的硬负例通过边际排名损失 ℒ\mathcal{L} 训练检索模型。步骤 3：从种子问题 Q0Q_{0} 开始，管道迭代地匹配兼容的思维模式，应用具有稀缺性奖励的分布对齐评分，并通过 LLM 集成所选模式，以产生进化问题 Q1,Q2,...Q_{1},Q_{2},\ldots 步骤 4：生成的问题经过多重推出推理和 LLM 判断，将判断正确的轨迹转换为 SFT 记录。