论文

Simulacrum:用于近乎最优时间序列预测和推理的决策理论预训练

The Simulacrum: Decision-Theoretic Pretraining for Near-Optimal Time-Series Forecasting and Inference

模型训练预训练

摘要

我们引入了一种基于神经网络的框架,用于通过我们称之为决策理论预训练的过程来学习时间序列估计器。分析师指定生成世界、数据生成过程的分布以及目标决策目标。在来自这个世界的分层模拟上训练的神经网络近似于相应的最佳决策规则,产生一个神经估计器,它提供预测、参数估计、预测区间或模型选择,以便对以前未见过的时间序列进行零样本推理。生成世界和目标的联合规范使估计器能够直接近似过程级、有限样本属性:接近最优的风险、偏差控制、极小极大性能和统一校准。我们的实验表明,对于相同的模型结构模型类别,这些神经估计器可以优于传统基线,例如最大似然估计和通过 AICc 进行的模型选择。此外,即使纯粹进行结构模型模拟训练,与统计、神经或大型预训练模型相比,它们也能在主要现实世界基准上实现有竞争力或最先进的预测精度。我们通过解决两个长期存在的挑战来说明该框架:AR(p) 模型中的有限样本偏差和误校准,以及预测组合难题。这些应用凸显了该方法的主要优点:它能够近似解决分析上难以处理或计算上难以实现的时间序列问题,包括复杂的结构方程或最优性标准。最终,通过对决策理论权衡进行明确控制,该框架为分析师提供了适合其特定分析需求的高效估计工具。