语义步骤预测：通过步骤采样在 LLM 推理轨迹中进行多步骤潜在预测

语义管预测（STP）利用表示几何将 LLM 隐藏状态轨迹正则化为 微调 期间的局部线性测地线，从而大大提高数据效率。原始的 STP 配方对随机词元子跨度进行采样，这与基本 大语言模型 (LLM) 训练架构兼容。受STP的启发，我们有兴趣研究采样位置是否可以进一步增强多步推理的语义结构，从而影响其几何影响。我们在连续语义推理步骤边界应用 STP，并实现了比 ProcessBench 上的冻结基线（3,400 个样本）精确 168 倍的多步骤潜在预测，而随机词元 STP 仅达到 4 倍。使用学习的非线性预测器探测潜在流形表明，STP 形状的轨迹是平滑的曲线，而不是直线：与步进边界模型上的线性外推法相比，3 层 MLP 将预测误差进一步降低了 3-12 倍。消除语言建模损失产生的轨迹的 MLP 可预测性比组合损失高出 2 倍，揭示了生成质量和几何纯度之间的权衡。我们的结果将采样位置确定为几何正则化中的关键变量，并建立多步潜在预测 MSE 作为此类方法的新评估指标。