论文

分布式 JEPA:能源预测的自我监督框架

Distributed JEPA: A Self-Supervised Framework for Energy Forecasting

模型训练预训练

摘要

传统的能源预测解决方案依赖于特定任务的监督和能源资产表示,限制了可转移性和捕获跨异构资产的一般时间动态的能力。我们通过提出一种分布式联合嵌入预测架构(JEPA)来解决这个问题,用于从异构能源时间序列中进行自我监督学习。该框架预测屏蔽时间段的潜在表示,同时在共享嵌入空间内集成时间观察和上下文信息。为了防止表示崩溃,训练将潜在空间预测目标与协方差和时间方差正则化结合起来。该评估是在数据退化场景下对能源消耗和发电数据集进行的,并与 Transformer 预测基线进行比较。学习到的表示保持稳定(余弦相似度 $\approx 0.98$;有效排名 185-235)。 JEPA 在建筑能源数据方面实现了与 Transformer 相当的性能,在 3/5 的消费者集群中实现了更高的 $R^2$,并且在 9/10 未见过的 PV 上的表现优于基线($R^2$=0.73-0.88 vs. <0.45),同时对缺失数据表现出更强的鲁棒性。