论文
时间序列基础模型的双层异构学习：联邦学习方法
Bi-level Heterogeneous Learning for Time Series Foundation Models: A Federated Learning Approach
摘要
时间序列数据的异质性比视觉或语言中的异质性更为明显，因为时间动态在不同领域和任务之间存在很大差异。现有的从头开始训练时间序列基础模型 (TSFM) 的工作通常是使用合并大规模数据集的混合批量策略进行训练，这可能会导致梯度冲突并降低表示质量。为了解决这个问题，我们提出了一种细粒度的学习方法，从异构序列中提取不变知识，同时减少跨域干扰。我们在两个层面上描述异质性：域间和域内。为了解决这种双层异质性，我们设计了一种联邦学习方法，通过局部正则化强制执行域不变和语义一致的表示来减轻域内冲突，并通过域感知聚合增强跨域协作来解决域间差异。跨不同基准的实验表明，使用我们的方法训练的 TSFM 在点预测和概率预测方面始终优于集中式和联合 TSFM 基线，同时还实现了大规模的有竞争力的零样本性能，为在异构环境中从头开始训练 TSFM 提供了灵活的途径。