时间序列基础模型的损失引导预训练数据选择

时间序列基础模型 (TSFM) 在包含数十亿个观测值的异构集合上进行预训练，但它们的训练窗口通常是在不估计它们是否提供有用的学习信号的情况下进行采样的。我们引入了一个静态数据选择框架，该框架使用参考预测器对每个窗口进行评分，并在每个源数据集中保留中间间隔。具体来说，我们通过证明归一化平方损失在局部雅可比条件下控制每个样本的梯度范数，将预测损失与优化难度联系起来。然后，我们定义参考损失分数并应用数据集分层选择来保留样本的多样性。在各种 TSFM 架构中，我们的方法绝对优于随机选择，甚至通过保留更少的候选预训练窗口来改进全数据预训练的相对 MASE 和 CRPS。进一步的分析显示出很强的跨尺度和跨架构分数相关性，这表明小参考模型通常可以为较大的目标选择数据，前提是参考和目标共享兼容的难度排序。