论文

KALEIDO:通过门控折叠几何进行时间序列预测的视觉模型的输入空间适应

KALEIDO: Input-Space Adaptation of a Vision Model for Time-Series Forecasting Through Gated Fold Geometries

应用与实践结构化分析、预测与决策

摘要

时间序列基础模型购买具有大时间语料库的零样本预测;视觉模型不需要任何东西,因为自然图像隐式嵌入了预测者必须建模的模式,而 ImageNet 预训练的屏蔽自动编码器通过修复其渲染来预测序列。然而,渲染的系列并不是自然图像,缩小这一差距需要时间感知的适应。我们证明渲染几何体——系列如何折叠和绘制——是它的一个可控、可混合的轴。 Kaleido 检测主导周期,渲染一组由规则生成的折叠几何形状,仅在验证时将修复与每个位置的凸门拟合相结合,并将结果与固定份额的零样本输出融合,每个数据集的超参数都不会超出基线的已发布设置。 训练仅 LayerNorm (0.05%),Kaleido 相对于 LTSF 上发布的零样本基线降低了 13% 的 MSE,冻结后降低了 6.6%;在 GIFT-Eval 上,MASE 基线提高了 7.4%,CRPS 基线提高了 19.3%。

KALEIDO:通过门控折叠几何进行时间序列预测的视觉模型的输入空间适应的原论文方法或结果图
图 1:Kaleido 概览(从左到右)。检测到的周期生成臂集:每个周期一个平面,跨越每行 $m$ 和上下文行 $n$ 的周期,对于 $K$ 臂,全部由一个共享 MAE 修复。手臂被冻结(零训练层)或携带自己的 LayerNorm 参数(训练层);锚点(位于基线默认几何形状的骨干模型)永远不会进行微调,也不会进入任何拟合状态。验证窗口上的凸形每个位置浇口结合了 $K$ 臂;锚点绕过它并在 $\lambda{=}0.75$ 处融合。