论文
时间序列基础模型的个性化联合稀疏适应
Personalized Federated Sparse Adaptation of Time-Series Foundation Models
摘要
时间序列基础模型 (TSFM) 的联合适应对于建筑能源预测很有吸引力,因为电表数据是私有的、分布式的且高度非独立同分布。然而,单一参数共享策略不太可能为所有预训练的 TSFM 或建筑客户端提供服务:完全共享的适配器可以抑制特定于建筑的时间行为,而完全局部的适应会丢弃跨建筑传输。我们提出了一种个性化的联合稀疏自适应框架,其中在预训练的 TSFM 表示之后放置了异构时间专家混合 (MoE) 适配器。序列级路由器将每个 168 小时上下文窗口映射到专门研究周期性、远程交互、局部变化、趋势残差结构和多分辨率行为的 top-$k$ 专家子集。我们将全球 FL、本地训练和个性化 FL 变体与全球共享或客户私有的专家库进行比较。在 50 座建筑物和三个 TSFM 主干网中,个性化始终优于全局 FL-MoE 和本地 MoE,而最佳稀疏适应策略因主干网和指标而异。路由行为进一步揭示了客户端级专家专业化、专家集中度以及跨骨干网的近乎统一的路由,表明联合 TSFM 适应应该既是客户端感知的,也是骨干网感知的。