论文

REATS:LLM 基于推理的集成学习,用于自适应时间序列预测

REATS: LLM Reasoning-based Ensemble Learning for Adaptive Time Series Forecasting

模型训练强化学习

摘要

由于现实世界时间序列的多样性,没有一个预测模型能够在所有样本中始终占据主导地位。集成学习通过结合互补的模型优势来解决这个问题,但现有的方法依赖于固定规则或仅基于数字输入的黑盒模型,无法利用 LLM 推理来进行可解释的加权决策。我们提出了 REATS,它利用 LLM 推理功能作为智能集成路由器,联合处理文本时间模式描述和数字特征,通过思想链推理生成可解释的、样本自适应的集成权重。为了实现有效的基于 LLM 的集成,我们研究了其关键设计选择并提出:(i)结构化输入管道,将原始时间序列转换为具有固定词元成本的混合文本数字表示,实现基于规则的思想链构建,无需 API 依赖,并通过检索的相似样本先验进行增强; (ii) 多样化的多行权重监督方案与词元有效的百分比表格式相结合,可降低数字复杂性并减轻 LLM 幻觉; (iii) 结合 SFT 和 GRPO 的两阶段 微调 框架,其中互惠奖励映射将连续无界 MSE 差距转换为具有放大的近预言敏感性的有界信号,解决基于回归的 GRPO 的朴素奖励设计中固有的统一敏感性和异常值主导的优势压缩。八个基准测试的实验表明,REATS 的性能优于竞争性集成基线,同时提供自然语言解释,并对未见过的候选模型展示强大的迁移学习和域外泛化能力。