论文
论表格基础模型的不确定性量化能力
On the Uncertainty Quantification Ability of Tabular Foundation Models
摘要
基础模型 (FM) 在无需特定问题训练或 微调 的情况下在跨任务泛化方面取得了巨大成功。然而，力学和计算科学中的许多关键应用不仅需要准确的预测，还需要可靠的不确定性量化（UQ）。在此，我们通过比较表格先验数据拟合网络 (TabPFN) 与高斯过程 (GP) 的全面实证研究，研究了表格 FM 在回归任务中的 UQ 能力。我们针对复杂程度、数据集大小和输入维度各不相同的一系列回归问题系统地评估了这两种方法。我们使用默认设置来构建所有 GP，并与 TabPFN v2.5 进行公平比较。我们的研究结果强调了显性先验和学习先验之间的重要权衡：虽然 TabPFN 在具有足够数据的复杂、高维问题上实现了极具竞争力的性能，但 GP 通常在数据稀缺的环境中提供卓越的预测准确性和 UQ。此外，当所选内核构成底层函数的良好先验时，GP 性能可以大大超过 TabPFN。我们的结果可以从 https://github.com/kianswarehouse/GPvsPFN 复制。