使用 大语言模型 进行太阳预报的天空图像和时间序列的双向多模态融合

短期光伏 (PV) 电力和全球水平辐照度 (GHI) 预测对于有效调度、储备调度和电网运营至关重要。在这些预测范围内，误差主要是由云引起的斜坡引起的：仅依靠历史数值数据可能很难预测即将到来的云，从而使地面天空图像成为至关重要的补充物理信号。此外，预报性能对位置和当地观测条件高度敏感，因此对通常稀缺的特定地点数据产生了强烈需求。最近，大语言模型（LLM）在时间序列预测方面表现出了有竞争力的性能和高数据效率。尽管取得了成功，但现有的基于 LLM 的预测方法仍然主要是单峰的，主要依赖于历史数值时间序列数据。将天空图像有效地整合到基于 LLM 的预测框架中仍然处于探索之中，并且是一个开放的挑战。在本文中，我们提出了 SolCloudLLM，一种基于 LLM 的多模态预测框架。 SolCloudLLM 将天空图像块与时间序列块对齐，并通过双向多模态融合融合其相应的表示，产生统一的表示，随后将其映射到 LLM 的嵌入空间中。对 SIRTA 和 SKIPP'D 数据集的大量实验表明，SolCloudLLM 在所有预测范围内始终优于 MSE 中的最佳基线方法，实现了 25.4% 的最大相对 MSE 降低。分层分析进一步表明，多模态融合的好处主要集中在多云条件下。值得注意的是，SolCloudLLM 在几乎所有的小样本设置中都实现了最佳性能，而其他深度学习基线则经历了显着的性能下降，并且经常被非学习物理方法超越。