用于不规则多元时间序列预测的学习统一时间感知补丁表示的混合注意力模型

时间序列基础模型 (TSFM) 最近在各种预测任务中提供了令人印象深刻的零样本性能。然而，现实世界的决策经常依赖于\emph{不规则多元时间序列}（IMTS），其中不一致的观察间间隔和跨变量的异步采样与信息缺失并存。现有的 TSFM 通过注入虚假值的插补或通过忽略连续时间的基于索引的位置编码来处理此类输入。遵循原始 IMTS 模式的基础模型仍然存在差距。在本文中，我们提出了一种混合注意力模型，该模型学习用于 IMTS 预测的统一时间感知补丁表示。我们首先设计一个 \emph{时间感知补丁编码}，将可变数量的补丁内时间戳映射到固定大小的嵌入中，为不规则补丁生成统一格式，而无需借助插补。然后，我们引入了一种 \emph{时间偏差注意} 机制，该机制可以校准补丁间时间错位和异步跨通道依赖性作为辅助注意偏移。最后，在仅解码器的 Transformer 主干之上，我们采用 \emph{混合因果掩码}，它保留历史背景的双向完整视图，同时保持预测范围严格自回归。为了支持不规则设置下的大规模预训练，我们还策划了 VersaTSA，这是一个包含 30$B 美元观测值的档案，保留了其来源的本地采样稀疏性。对三个 IMTS 基准和标准常规 MTS 基准的实验表明，我们的模型在 IMTS 上实现了最先进的零样本性能，并且在转移到常规预测时仍然具有竞争力。