将表格基础模型蒸馏为有效的预测器

表格基础模型 (TFM) 通过上下文学习实现了强大的预测性能，但对标记数据的重复调节使得推理成本高昂。知识蒸馏可以通过将预测能力转移给轻量级、特定于数据集的学生来降低成本。然而，TFM 预测对标记上下文和查询的依赖引入了两个设计问题：如何构建教师监督以及扩大查询覆盖范围是否可以改善蒸馏。我们通过两个 TFM 以及基于神经和树的学生检查这些问题，并得出有效的蒸馏方法。该配方使用完整标记的训练集作为教师上下文，并仅根据教师对观察到的查询和综合查询的预测来训练学生。在 TabArena 上，最终学生的表现比经过监督训练的调整和集成的同行高出 57-98 Elo 分。同样的方法不变地应用于 TALENT，在 300 个数据集中的 236-258 个数据集上改进了匹配的默认学生，并将中位主要误差降低了 4.0-6.4%。经过蒸馏的学生的中位推理速度比老师高出 3.0-21.6 倍，在预测性能和重复推理成本之间提供了实际的权衡。代码可在 https://github.com/nums-ai/TFM_Distillation 获取。