Mitra-v2 技术报告

我们推出 Mitra-v2，这是一种表格基础模型，可在现实世界的分类和回归问题上提供最先进的性能，从信用风险评分和临床预测到设备故障检测和房价估计。 Mitra-v2 仅在合成数据上进行训练，其预训练分布比 Mitra-v1 更大、更多样化。 Mitra-v2 基于小型 2D Transformer 主干网络构建，支持更长的上下文和更大的特征空间。改进的优化让它可以从更大的任务分布中学习。我们在 TabArena 和 TALENT 基准上评估 Mitra-v2，其中包含两种评估协议下的 300 多个真实数据集。在完整的 TabArena 基准测试中，Mitra-v2 提供了行业规模 TabFM 和 EXAONE Tabular 模型水平的最先进性能，同时在分类和回归方面大幅超越 TabPFN-3。 Mitra-v2 与 1.6B 参数 TabFM 相匹配，但大小仅为其 5%（77M 参数），以极低的成本提供前沿性能。在 TALENT 上，Mitra-v2 仍然处于领先模型之列，明显优于 TabPFN-3 和 TabICLv2。它在十个以上类别的分类任务上也排名第一，尽管它只在最多十个类别的任务上进行了预训练。这些结果使 Mitra-v2 成为迄今为止发布的最强大、应用最广泛的开放表格基础模型之一。我们在 Apache-2.0 许可证下发布了模型权重、推理和 微调 代码以及评估结果。