关于归纳偏差在时间序列预训练中的作用：学习临床时间序列可推广表示的案例研究

临床时间序列学习通常受到小型、异质队列和协议漂移的限制，而其下游用途涵盖分类（例如病理诊断）和回归（例如时间预测）。这些限制使得基础模型预训练很有吸引力，但提出了一个重要问题：预训练目标应该施加哪些归纳偏差，以便表征能够跨任务类型和主题转移。我们通过 PathoFM 在脊髓损伤 (SCI) 的病理步态分析中研究这个问题，PathoFM 是一种以编码器为中心的 Transformer，在多变量步态窗口上进行预训练，具有三个互补的目标：局部完成（重建连续的屏蔽跨度以加强局部结构）、时间连续性（从观察到的前缀预测屏蔽中水平连续性，以加强平滑性和因果一致性）和无监督上下文动态（通过注意力以主题样本窗口为条件的支持查询重建）。根据经验比较目标系列（分组/对比、基于动力学和生成重建），我们发现以动力学为中心的混合产生最平衡的传输：分组目标有利于判别裕度，但会降低连续目标所需的幅度保真度，而仅重建目标保留波形结构，但在分类方面可能表现不佳。总体而言，将局部重建与时间连续性相结合，并在样本访问现实时添加上下文条件，可以产生强大的主题概括表示。