论文

TSFMAudit:预测时间序列基础模型中的数据污染审计

TSFMAudit: Data Contamination Auditing in Forecasting Time Series Foundation Models

模型评测评测方法与指标

摘要

时间序列基础模型 (TSFM) 越来越多地在大型语料库上进行预训练,这引起了人们的担忧,即评估数据集可能在预训练期间暴露,从而产生过于乐观的性能估计。在时间序列中审计此类污染具有挑战性,因为信号是连续且异构的,并且通常缺乏语料库文档。据我们所知,这是第一项研究 TSFM 训练前污染审计的工作。我们形式化了 TSFM 的预训练污染审计问题,并提出了 TSFMAudit,一种基于探针自适应动态的方法。我们的主要直觉是,污染表现为异常有效的适应:在 微调 探测之后,受污染的数据集往往会表现出更快的损失减少和更小的主干移动。我们使用记录的训练源证据作为监督,在 6 个 TSFM 和 187 个数据集上评估 TSFMAudit,并与改编自 LLM 文献的 10 个竞争基线进行比较。