TRACE：面向多模态时序基础模型的时间条件估计

摘要

时间序列基础模型（TS-FM）旨在学习可适应各种下游任务的通用时间表示。在现实世界的多模态设置中，时间序列经常受到时间错位和部分模态缺失的影响，其中不同模态在异构时间尺度上被观察到或部分缺失。现有的方法通常依赖于朴素的插补或屏蔽策略，这些策略无法考虑跨模式依赖性，并且常常导致表示错位或降级。我们提出了 TRACE，一种用于缺失和不规则采样下的多模态时间序列基础模型管道的条件估计范式，允许从可用的辅助模态中系统地推断出不完整的目标模态。我们在涵盖医疗保健和情感计算的多种多模态基准上评估 TRACE，包括 MIMIC-IV 临床数据集以及用于多模态情感分析的 CMU-MOSI 和 CMU-MOSEI 基准。在一系列下游预测任务和缺失模态设置中，TRACE 始终优于先前的多模态融合方法，证明了对严重模态缺失的鲁棒性有所提高，并且跨模态表示更可靠。

TRACE：面向多模态时序基础模型的时间条件估计：论文配图 — 图 1：多模态时间序列设置的图示，缺失率为 30%，这在临床数据中很常见。我们将从估算输入获得的序列级表示与从完全观察的序列得出的地面实况（GT）表示进行比较。我们的范例将缺失的模态输入视为时间变量，根据可用模态有条件地估计，其性能优于先验值插值，在通过余弦相似度测量的相同缺失模式下产生更接近预言的内部表示。有关数据集构建和评估的详细信息，请参阅附录 A.3；有关其他结果，请参阅附录 E.2。