基于 LLM 的时间序列预测的因果语义对齐

大语言模型 (LLM) 的最新进展通过实现时间模式和预训练词嵌入之间的对齐，为时间序列预测开辟了新的可能性。然而，大多数基于 LLM 的方法忽视了时间序列的异构性质，其中动态波动和不变语义是纠缠在一起的。这种纠缠在对齐过程中引入了虚假相关性，因为动态分量通过同时影响不变分量和由此产生的对齐嵌入而充当混杂因素。为了解决这个问题，提出了一个变量级对齐框架CVAformer。 CVAformer 在对齐之前明确地将每个变量分解为不变和动态分量，并应用因果干预来减轻动态的混杂效应。为了更好地支持变量级别对齐，CVAformer 用非因果注意机制替换了 LLM 中的标准因果注意机制，该机制捕获每个时间步骤中变量之间的交互。长期、短期、少样本和零样本预测设置的大量实验表明，CVAformer 在大多数数据集上达到或超过了最先进的性能，并且在某些情况下实现了明显更好的准确性。实验结果验证了CVAformer中变量级别对齐和动态解缠的有效性，为基于LLM的时间序列任务提供了新的视角。