论文
联合时间序列基础模型的离散原型存储器
Discrete Prototypical Memories for Federated Time Series Foundation Models
摘要
利用 大语言模型 (LLM) 作为基于联邦学习 (FL) 的时间序列基础模型，提供了一种有前途的方法，可以将 LLM 的泛化能力转移到时间序列数据，同时保留对私有数据的访问。然而，时间序列数据和现有 LLM 以文本为中心的潜在空间之间的语义不一致往往会导致性能下降。同时，现有FL方法中的参数共享机制将异构跨域时间序列数据建模到统一的连续潜在空间中，这与时间序列语义经常表现为离散和重复状态的事实相矛盾。为了解决这些限制，我们提出了 \textsc{FeDPM}，这是一种基于离散原型记忆的时间序列基础模型的联合框架。具体来说，我们学习域内时间序列数据的本地原型记忆先验。然后，我们对齐跨域记忆以促进统一的离散潜在空间，并引入特定于域的记忆更新机制来平衡共享和个性化的原型知识。大量的实验证明了 \textsc{FeDPM} 的效率和有效性。该代码可在 https://anonymous.4open.science/r/FedUnit-64D1 上公开获取。