表格基础模型的分布外性能的实证评估

表格基础模型 (TFM) 已成为表格预测任务的新颖方法，展示了与基于集成树的模型相比具有竞争性的预测性能。大多数 TFM 都是在独立且同分布的数据上进行训练和评估的，但由于分布变化，这种假设在现实场景中会发生变化，从而损害了模型的稳健性。对分布变化下的 TFM 进行的研究有限。我们对九种 TFM 的分布外 (OOD) 性能进行了实证评估，涵盖不同的 预训练 策略和架构：TabPFNv2、TabPFNv2.5、TabPFNv2.6、TabPFNv3、TabICL、TabICLv2、Mitra、LimiX 和 TabFM。考虑了 TableShift 研究中的三个真实世界数据集（HELOC、投票、童年领导），涵盖标签、社会经济和地理转移类型。我们的结果表明，无论 预训练 策略如何，所有评估的 TFM 在分布转移下都会系统性退化，根据转移类型，转移间隙范围为 0.003 到 0.060。经典表格模型记录的分布内预测性能和 OOD 预测性能之间的关系延伸到了 TFM。我们还发现了可扩展性差距，因为高性能模型需要大量内存和计算资源，超出了标准部署基础设施所能支持的范围。这项研究扩展了表格数据中 OOD 的现有基准，提供了支持其在以结构分布变化为特征的高风险领域中采用的证据。