表格基础模型的测试时计算：机制、增益和限制

哪些形式的测试时计算可以改善强预训练表格基础模型 (TFM) 的预测？我们沿着三个轴系统地研究这一点：适应、聚合和上下文构建。我们的评估涵盖了 TabArena 基准的现代 TFM，并辅以 OpenML 的大型表实验。为了适应，我们引入了 DiagScale，一种对角查询键相似度更新。它仅训练 0.003-0.03% 的模型参数，并获得与三个独立预训练骨干网完全微调相当的增益。对于聚合来说，池的组成和选择策略都很重要。 TabPFN-3 已经对同一数据的不同预处理变体的预测进行了平均，并且添加更多此类预测会产生收益递减。通过更广泛的 96 个配置池，贪婪选择相对于默认预测器将误差减少了 2.4%，但均匀平均会增加误差。对于上下文构建，注意力引导检索改进了 TabPFN-3 对某些大型表的预测，并支持超出完整范围的源池 上下文内存限制。我们测试的上下文扩展方法没有产生一致的改进。综上所述，我们的结果表明，适应和选择性聚合产生了一致的基准水平增益。上下文构建的好处更多地取决于任务和数据机制。同一主干上的适应和聚合结合起来会产生进一步的收益，但需要比默认推理更多的计算。这些权衡促使根据可用的计算预算选择策略。代码可在 https://github.com/kanghui-learning/test-time-compute-for-tabular-foundation-models. 获取