论文
与领域专家一起构建稀缺时间序列的统一生成模型
Towards a Unified Generative Model for Scarce Time Series with Domain Experts
摘要
用生成模型合成现实时间序列在现实场景中具有广泛的应用。尽管最近取得了进展,但大多数现有方法都是在训练数据丰富的假设下进行训练的,这大大限制了它们在数据稀缺环境中的有效性。在本文中,我们提出了 TimeMoDE,这是一种新颖的框架,它将 Diffusion Transformer 与 Mixture-of-Experts 相结合,以利用领域适应性和扩散阶段意识来生成数据稀缺下的时间序列。它在大规模多域数据集上进行了预训练,以在 微调 期间提取与域无关的时间表示和有利于泛化的特定于域的信息。我们提出域提示来调整专家分配以获取难以区分的噪声标记,从而减轻捕获数据集间关系的限制。此外,我们结合了扩散时间步长信号,使专家能够了解时间序列退化变化,从而促进自适应校准以满足阶段相关的降噪要求。大量实验表明,TimeMoDE 在各种低数据设置下优于现有方法。它为高级时间序列小样本生成建立了创新范例。