MaskTab：具有缩放定律和 蒸馏 的可扩展屏蔽表格预训练，用于工业分类

表格数据构成了金融、医疗保健等领域高风险决策系统的支柱。然而工业表格数据集本质上是困难的：高维、充满缺失条目，并且很少大规模标记。虽然基础模型彻底改变了视觉和语言，但表格学习仍然依赖于手工制作的特征，并且缺乏通用的自我监督框架。我们推出 MaskTab，这是一个专为工业规模表格数据设计的统一 预训练 框架。 MaskTab 通过专用的可学习标记对缺失值进行编码，使模型能够区分结构缺失和随机丢失。它联合优化了混合监督 预训练 方案（利用双路径架构来协调掩模重建与特定任务监督）以及 MoE 增强损失，通过专门的子网络自适应地路由特征。在工业规模基准上，在严格的缩放下，它比现有技术实现了 +5.04% AUC 和 +8.28% KS。此外，它的表示有效地提炼成轻量级模型，在严格的延迟和可解释性约束下产生 +2.55% AUC 和 +4.85% KS，同时提高对分布变化的鲁棒性。我们的工作表明，当尊重表格数据的结构特性时，它可以进行基础模型处理。