通过测试时后验调整减轻表格上下文学习中的标签偏移

TabPFN 最近作为表格数据集的基础模型而受到关注，通过利用合成数据的上下文学习实现了强大的性能。然而，我们发现 TabPFN 很容易受到标签偏移的影响，通常会过度拟合训练数据集中的大多数类。为了解决这个限制，我们提出了 DistPFN，这是第一个专为表格基础模型设计的测试时后验调整方法。 DistPFN 通过降低训练先验（即上下文的类别分布）的影响并强调模型预测后验的贡献来重新调整预测的类别概率，无需架构修改或额外训练。我们进一步引入了 DistPFN-T，它结合了温度缩放，根据先验和后验之间的差异自适应地控制调整强度。我们在超过 250 个 OpenML 数据集上评估了我们的方法，展示了标签移位下分类任务中各种基于 TabPFN 的模型的显着改进，同时在没有标签移位的标准设置中保持了强大的性能。代码可在此存储库中找到：https://github.com/seunghan96/DistPFN。