基础模型可以借助训练数据中的线索进行推理

我们研究训练数据如何建立基础模型回答开头token与后续推理行为之间的关联。首先，固定某些起始token线索，可以使基础模型在数学和编码任务上的性能与强化学习（RL）训练后的对应模型竞争。例如，线索“.\n\nOkay”将Olmo-3-7B的MATH-500 pass@1准确率从42%提高到78%；“Alright,”将Qwen3-14B的准确率从72%提高到87%。其次，RL提高这些线索的出现概率，而固定这些线索能获得RL相较基础模型的大部分性能收益。第三，我们把token线索的推理效果追溯到训练数据。通过因果数据干预，可以把“chicken”等任意词变成有效的推理线索，或消除已有线索的效果。类似编辑使提示指令“Think duck duck goose”在引发推理方面与“Think step by step”同样有效。我们还发现，不同线索引发的隐藏状态表示，与训练集不同文档类型相关。最后，我们通过语言模型安全性的案例扩展研究，发现不同线索引发的拒绝和遵从行为不同，并与不同训练数据类型对应。