论文
蒸馏时序搜索与推理:以Harness辅助高效数据合成演进面向未来预测的LLM
Distilling Temporal Search and Reasoning: Evolving LLMs for Future Prediction via Harness-Assisted Efficient Data Synthesis
摘要
未来事件预测具有广泛的社会影响,却仍然充满挑战。最先进的方法用外部智能体框架增强LLM,而一旦移除Harness,其预测能力便随之消失。尽管近期的工具集成推理(TIR)将深度搜索内化以进行事实的多跳检索,预测还进一步要求围绕历史趋势与动态变化进行时序搜索与推理。关键障碍在于数据:历史查询会引发时间泄漏,使预测退化为检索。先前工作要么用静态观测冻结信息收集,要么依赖拒绝采样或未解决的最新查询,丢弃大量数据,降低合成效率。我们提出一种时间截断Harness,在每一轮强制执行时间截止,使TIR式采样可以基于历史事件进行,减少时间泄漏以及对拒绝采样或未解决查询的依赖,提高采样效率。我们进一步构建了大规模语料库与基于过程的度量,并表明我们的Harness自然诱导更广的时序搜索广度、提高高质量数据占比,进一步提升效率并降低对复杂评分规则(rubrics)的依赖。蒸馏实验表明,在Harness干预数据上训练的学生模型取得最佳性能,这证明了Harness辅助的模型演进能够将更高质量的时序搜索与推理数据转化为学生模型的参数化提升。
