Xiaomi-TabLDM：表格基础模型技术报告

我们推出了Xiaomi-TabLDM，这是一种通过上下文学习进行分类和回归的表格大数据基础模型，它可以提供卓越的预测精度，而无需针对特定任务进行微调。我们的模型专门针对结构因果模型 (SCM) 生成的合成数据进行预训练，可实现更灵活的上下文利用和更高效的容量扩展。 i) 新的绩效标准。跨基准测试的强大回归性能：Xiaomi-TabLDM 在 OpenML-CTR23 上排名第一，在 TALENT、TabArena 和 BCCO 回归上排名第二，在四个互补的基准测试套件中表现出一致的强大回归性能。良好的性能-效率权衡：Xiaomi-TabLDM 结合了强大的预测性能和大幅降低的计算成本。例如，在 TabArena 回归中，它实现了第二高的 Elo，同时比排名第一的 TabFM 减少了 82% 的训练时间和 68% 的预测时间。 ii）大规模综合预训练。小米-TabLDM扩展了用于预训练的合成表格数据的覆盖范围和多样性。我们还采用三阶段训练策略，结合双流特征分组、轻量级注意力残差和稀疏专家混合，使小米-TabLDM能够在不同的表格任务中学习更丰富的特征交互和专家专业化。 iii) 测试时间缩放。小米-TabLDM 通过测试时计算扩展进一步扩展了表格预测，其中在推理时分配额外的计算持续提高了基本模型的预测性能。