表格基础模型还需要特征工程吗？

特征工程长期以来一直是表格机器学习的基石。表格基础模型 (TFM) 在各种表格数据集上进行预训练，并通过上下文学习进行应用。它们的崛起提出了一个自然的问题：随着这些模型变得更加强大，手动特征构建仍然重要吗？为了回答这个问题，我们对两个主要 TFM 系列的多个版本进行了对照研究，在 TabArena 的基准数据集上测试了各种现有的特征工程技术。我们发现了一个一致的模式：特征工程收益集中在早期模型中，而对于最强模型来说可以忽略不计。这些结果表明，更强的 TFM 对显式设计的输入表示的依赖程度较低。然而，在补充实验中，添加来自相关数据集的上下文信息仍然可以提高性能。我们的研究结果表明，更强的 TFM 的绩效收益来源发生了转变：重新表示现有输入变得不太有效，而提供额外的任务相关背景仍然是有益的。