用于生成建模的表格基础模型

生成建模是对基础模型的严格测试，因为它需要针对给定数据模态的稳健、整体表示学习，而不是单独针对监督预测目标进行优化。虽然最近关于表格基础模型的工作在预测建模方面取得了显着进展，但生成表格基础模型仍处于探索之中。特别是，现有的表格基础生成器在合成数据质量方面尚未一致匹配强大的数据集特定生成器。一个关键原因是它们与异构表格数据独特的因果结构先验不一致。在本文中，我们通过引入一种新颖的表格基础模型 \textbf{TabFORGE} 来解决这一差距，该模型建立在用于 \textbf{GE} 运算的预训练 \textbf{Tab}ular \textbf{FO}undational \textbf{R} 表示之上。 TabFORGE 旨在利用预训练的因果感知特征编码器诱导的统一潜在空间中的不同表格数据集隐式学习的因果信息。它通过两阶段设计进一步将潜在建模与解码分离：我们首先预训练基于分数的扩散 Transformer，然后使用去噪潜在嵌入预训练去噪对齐解码器。这种设计巧妙地缓解了通常在训练和推理之间出现的潜在嵌入的分布变化。我们根据 45 个真实数据集上的 22 种基准方法对 TabFORGE 进行了全面评估。我们的结果表明，TabFORGE 有效地学习和利用通用表格表示，从而能够高效生成高质量的合成表格数据，特别是具有很强的结构保真度。