EXAONE 表格 1.0：技术报告

EXAONE Tabular 是一个紧凑的表格基础模型系列，用于通过上下文学习进行分类和回归，无需数据集特定的梯度更新即可生成预测。其核心贡献是仅在合成结构因果模型 (SCM) 上进行预训练，以架构为中心重新设计表格上下文学习。 EXAONE Tabular 不是将特征压缩到单独的行级学习器之前嵌入的固定行，而是将每个项目内的特征轴注意力与每个 Transformer 层的每个特征内的支持条件项目轴注意力交错，由项目摘要和特征摘要标记介导。在四个公共基准测试中，EXAONE Tabular 结合了强大的预测性能和高效率。在 TabArena 上，其 2081 万参数的分类模型总体排名第一，超过了调整后的集成和 4 小时的 AutoML 管道，而回归则以大约 1/11 的推理成本达到了 1.64B 参数的 TabFM 的性能状态。在 BCCO 和 TALENT 上，EXAONE Tabular 在分类方面排名第二，在回归方面排名第一。在 ScoringBench 上，它在点估计和预测分布质量方面均获得了最佳平均排名，在 $R^2$、RMSE 和 CRPS 评估中处于领先地位。总之，这些结果使 EXAONE Tabular 成为最先进的紧凑表格基础模型系列，将分类、点回归和概率回归的强大预测性能与高效的模型设计相结合。