论文
OmniTabBench：绘制大规模表格数据的 GBDT、神经网络和基础模型的经验前沿
OmniTabBench: Mapping the Empirical Frontiers of GBDTs, Neural Networks, and Foundation Models for Tabular Data at Scale
摘要
虽然传统的基于树的集成方法长期以来主导着表格任务，但深度神经网络和新兴的基础模型已经挑战了这种首要地位，但对于普遍优越的范式还没有达成共识。现有基准通常包含不到 100 个数据集，引发了对评估充分性和潜在选择偏差的担忧。为了解决这些限制，我们引入了 OmniTabBench，这是迄今为止最大的表格基准，包含涵盖不同任务的 3030 个数据集，这些数据集是从不同来源全面收集的，并使用 大语言模型 按行业分类。我们对 OmniTabBench 上所有模型系列的最先进模型进行了前所未有的大规模实证评估，证实不存在占主导地位的赢家。此外，通过解耦元特征分析（检查数据集大小、特征类型、特征和目标偏度/峰度等各个属性），我们阐明了有利于特定模型类别的条件，提供了比之前的复合度量研究更清晰、更可行的指导。