时间序列基础模型的统一标度律

摘要

我们开发了统一的尺度法则和时间序列学习的统一理论，以了解模型容量和历史信息如何支持预测。在不同的回溯长度和预测范围内，我们分析了来自 21 个检查点的 18,768 个实验单元，涉及跨越 6 个领域的 23 个数据集频率任务。我们的实证方法将当地资源关系整合到一个简约的、拟合的五参数定律中：容量增益随着历史的增长而增加，背景增益逐渐减少到饱和，地平线效应作为一种常见的转变而出现。在不使用 Toto 2.0 的情况下，该定律预测其水平平均容量缩放曲线，在输入长度 2048 和 4096 处的平均绝对百分比误差分别为 1.09% 和 1.50%。为了了解历史如何支持预测，我们的学习理论使用高斯回归来分析规则识别和预测能力。我们假设全镜头模型通过积累权重信息来学习，而冻结时间序列基础模型（TSFM）通过激活提取信息来使用历史。匹配历史比较建立了额外历史的预测价值。受控的参数交换和激活干预提供了证据，证明历史派生的规则信息可以保留、跨查询重用，并用于恢复对长上下文预测的贡献。总之，这些发现为容量扩展、上下文分配以及保留和应用历史规则的模型的开发提供了信息。代码和主要结果可在 https://github.com/Fifthky/UniScale. 获取

时间序列基础模型的统一标度律的原论文方法或结果图 — 图 7：完整的 Toto 2.0 评估。 (a,b) 对于全检查点和留置 Toto 拟合，在所有 150 个原始 NHL 坐标处观察到的 $\log R$ 与预测的 $\log R$；颜色编码活动参数，对角线表示精确预测。 (c,d) 配对相邻输入长度并对五个水平面取平均值后的容量响应。实心圆是观察到的托托均值，虚线十字是根据相应拟合的预测。每条上下文曲线包含所有五个 Toto 检查点。