分布感知扩散-LLM 用于稳健的超长期时间序列预测

时间序列预测是一项基本的机器学习任务。最近的工作为此目的探索了 大语言模型 (LLM)，因为它们具有强大的泛化、模式识别和零样本或少样本能力。尽管 LLM 适用于长上下文学习，但在多模态环境中面临挑战：它们缺乏针对非文本数据的校准概率模型，并且很难对齐异构表示。为了解决这些问题，我们提出了一个新的框架 Diffusion-LLM，它将条件扩散模型集成到基于 LLM 的预测管道中。这种联合设计能够学习未来数据的条件分布，同时改善共享潜在空间中的语义对齐。我们根据六个长期预测基准（包括 ETT、Weather 和 ECL）评估 Diffusion-LLM。我们的方法始终优于现有的基于 LLM 的基线，在超长期和小样本预测方面取得了显着的成果，并证明了分布感知正则化对于增强时间序列 LLM 的鲁棒性和泛化性的价值。