论文
回归中条件密度估计的表格基础模型基准测试
Benchmarking Tabular Foundation Models for Conditional Density Estimation in Regression
摘要
条件密度估计 (CDE) - 恢复给定表格协变量的响应的完整条件分布 - 在异方差、多模态或不对称不确定性的设置中至关重要。最近的表格基础模型,例如 TabPFN 和 TabICL,自然地产生预测分布,但它们作为通用 CDE 方法的有效性尚未得到系统评估,这与它们在点预测方面的性能不同,这已得到充分研究。我们使用涵盖密度准确性、校准和计算时间的六个指标,对 39 个真实世界数据集上的三种表格基础模型变体与一组不同的参数化、基于树的和神经 CDE 基线进行基准测试,训练规模从 50 到 20,000。在所有样本量中,基础模型在大多数测试数据集上实现了最佳的 CDE 损失、对数似然和 CRPS。校准在小样本量下具有竞争力,但对于某些指标和数据集来说,在较大样本量下落后于特定于任务的神经基线,这表明事后重新校准可能是一个有价值的补充。在使用 SDSS DR18 的光度红移案例研究中,暴露于 50,000 个训练星系的 TabPFN 优于在完整 500,000 个星系数据集上训练的所有基线。总而言之,这些结果建立了表格基础模型作为强大的现成条件密度估计器。