论文

表格基础模型是否与自身一致?

Do Tabular Foundation Models Agree with Themselves?

模型评测鲁棒性、公平性与可信度评测

摘要

表格基础模型 (TFM) 是目前解决表格预测问题的最佳方法。它们被构造为 Transformer,近似基于 预训练 先验的贝叶斯后验预测分布。通过对一个目标进行采样并将其添加到特征中,可以将这些单变量预测变量自回归转换为多变量预测变量。然而,所得接头的 忠实性 尚未被研究。此外,TFM 无法根据后验本身进行评估,至少不能在现实世界的数据集上进行评估,因为 真值 分布是未知的。因此,我们建议提出一个不同的问题:模型的预测是否可以由任何联合分布得出?为了回答这个问题,我们提出任何此类模型都必须满足的两个要求。第一个是边缘化一致性,它要求边缘化条件等于直接预测的边缘。第二个是分解一致性,它要求不同的分解顺序导致相等的联合分布。我们评估的每个 TFM 都违反了所有数据集的分类和回归的这两个要求。