TabPFN-3：技术报告

表格数据支撑着科学和工业中大多数高价值预测问题，而 TabPFN 推动了这种模式的基础模型革命。 TabPFN-3 根据用户的反馈进行设计，在此基础上将最先进的性能扩展到具有 100 万训练行的数据集，并大幅减少训练和推理时间。 TabPFN-3 专门针对我们之前的合成数据进行预训练，极大地推动了表格预测的前沿，并为时间序列、关系和表格文本数据带来了巨大的收益。在标准表格基准 TabArena 上，TabPFN-3 的前向传递明显优于所有其他模型（包括调整和集成基线），并且帕累托主导了速度/性能前沿。在更多样化的数据集上，TabPFN-3 在具有许多类别的数据集上排名第一，并在高达 1M 训练行和 200 个特征的数据集上击败了 8 小时调整的梯度增强树基线。 TabPFN-3 将测试时计算扩展引入到表格基础模型中。我们提供的 API TabPFN-3-Plus (Thinking) 利用这一点在 TabArena 上击败所有非 TabPFN 模型超过 200 Elo，在最大数据子集上上升到 420 Elo，并且优于 AutoGluon 1.5 Extreme，同时速度提高 10 倍，无需使用 LLM、真实数据、互联网搜索或除 TabPFN 之外的任何其他模型。 TabPFN-3 扩展了我们模型的功能，支持对关系数据（RelBenchV1 上的新 SOTA 基础模型）和表格文本数据（通过 TabPFN-3-Plus 在 TabSTAR 上进行 SOTA）进行 SOTA 预测；并改进了现有集成：专门的检查点 TabPFN-TS-3 在时间序列基准 fev-bench 上排名第二，SHAP 值计算速度提高了 120 倍。 TabPFN-3 实现了这一性能，同时速度比 TabPFN-2.5 快 20 倍。此外，在一台 H100 上，减少的 KV 缓存和行分块可扩展到 1M 行，推理速度很快。