Olivia：协调时间序列基础模型与功率谱密度

时间序列基础模型依赖于跨领域的不同数据集的大规模预训练，但它们在时间模式上的异质性可能会阻碍训练和学习可转移时间序列表示的有效性。受信号处理中的归一化功率谱密度 (PSD) 这一基本概念的启发，我们假设通过谱域中的 PSD 协调数据集可以减少不匹配并增强预训练。然后，我们超越了直接棘手的最小化优化，并将其创新性地重新表述为一种有原则的协调方法。具体来说，我们提出了 Harmonizer，这是一个重塑谱结构并隐式协调跨数据集的 PSD 的模块，理论上对应于二阶时间相关性的共享重新参数化。我们的理论分析进一步揭示了与 Harmonizer 的词元交互可以通过一组紧凑的谐振器有效地介导，从而激发了在低维交互空间中执行自注意力的 HarmonicAttention 设计。然后，我们提出了 Olivia，一种基于这些协调机制构建的新型时间序列基础模型。对两个大型基准（TSLib 和 GIFT-Eval）以及来自 GluonTS 的额外 6 个数据集的广泛实验表明，Olivia 在零样本、少样本和全样本预测场景下始终实现最先进的性能。我们的代码可在 https://github.com/TSTS13/Olivia 获取。