论文

从长新闻到准确预测:重要性感知融合与PRM引导反思

From Long News to Accurate Forecast: Importance-Aware Fusion and PRM-Guided Reflection for Time Series Forecasting

上下文与知识上下文工程

摘要

将新闻纳入时间序列预测很有吸引力,因为新闻可以揭示仅靠历史值无法恢复的突发外生事件。然而,现有的基于LLM的新闻预测管道面临两个实际限制:相关新闻文章通常超出模型的上下文窗口,并且补充新闻的迭代检索通常是无指导的,导致冗余更新和收敛缓慢。我们通过一个新颖的框架来解决这些问题,该框架结合了重要性感知的新闻压缩和流程级检索监督。首先,我们训练一个重要性奖励模型,该模型估计每篇文章的预测效用,并使用该信号在顺序成对融合期间分配压缩预算,从而在固定的上下文限制内保留信息内容。其次,我们引入了一种过程奖励模型(PRM),该模型根据当前错误概况和先前选择的文章的历史记录对多个补充新闻候选者进行排名,用质量控制的选择取代一次性盲目检索。这两个组件都使用历史数据和真实事实进行离线训练;推理使用冻结的过滤逻辑和压缩模块,没有任何反射循环。对金融、能源、交通和比特币预测基准的实验表明,我们的方法在强基线上提高了预测精度,与迭代基线相比显着减少了细化迭代的数量,并且当相关文章跨越数千个词元时仍然有效。

从长新闻到准确预测:重要性感知融合与PRM引导反思:论文配图
图1:线下精细化、线上部署的总体框架。该框架由两个阶段组成:离线训练/细化和在线推理/部署。在离线阶段,历史时间序列和候选新闻首先由奖励融合模块处理,该模块执行文章级奖励评分、自适应压缩预算和顺序成对融合,以生成用于预测的紧凑摘要。根据验证错误,生成反射信号以识别丢失的信息,PRM 模块根据预期错误减少量对补充候选新闻进行评分,选择最佳文章来完善过滤逻辑。重复此细化循环直至收敛,产生最终的细化逻辑。在线阶段,直接应用细化的逻辑和冻结的Reward-Fusion模块来检索、压缩和融合相关新闻进行预测,推理过程中无需反射循环或PRM评分。