评估表格基础模型的数据先验

数据生成先验是表格基础模型的核心组成部分，因为它们定义了预训练期间使用的任务分布。然而，先验很少被作为独立组件进行评估，因此很难理解它们对下游模型行为的影响有多大。这就提出了一个方法论问题：如何独立于引入它们的架构和训练协议来比较来自不同表格基础模型的先验？为了研究这个问题，我们为来自最近的表格基础模型的公开先验和从真实数据集构建的先验实现了一个统一的接口。我们根据每个先验生成训练任务，在固定的训练协议下训练相同的模型架构，并在共享的下游分类任务上评估生成的模型。我们通过生成的任务统计数据和下游预测性能来比较先验。我们的结果表明，不同的先验有利于不同的下游行为，其中一些实现了更强的绝对性能，而另一些则在数据集中表现出更一致的相对排名。我们进一步发现数据级相似性只能部分解释下游行为。我们的代码位于 https://github.com/automl/TFM-Playground/tree/prior-dev。