高性能，低可靠性：表格基础模型的不确定性基准测试

最近的表格基础模型 (TFM) 展示了最先进的预测性能，通常超越梯度提升决策树 (GBDT)。然而，这些模型的可信度，特别是其不确定性量化，在很大程度上被忽视了。我们通过对 TALENT 基准的 112 个数据集上的 TFM、GBDT 和经典基线进行比较的广泛研究来调查这一差距。我们的结果揭示了性能与不确定性的权衡：尽管 TFM 实现了最高的预测性能（通过 AUC 衡量），但与 GBDT 相比，它们在共形预测下（通过 SSCS 衡量）表现出较低的条件覆盖率。对合成数据集的补充实验进一步描述了这种效应加剧的情况。我们的结论是，虽然 TFM 推进了预测前沿，但实现良好校准的不确定性仍然是其可靠采用的一个重大公开挑战。代码位于：https://github.com/jose-melo/high-performance-low-reliability