Speedrunning 表格基础模型预训练

预训练成本是表格基础模型研究的主要瓶颈，它减慢了新架构、先验和优化思想的迭代周期。然而，社区缺乏一种简单的方法来比较和累积预训练加速。我们引入了 nanoTabPFN 的社区加速运行：贡献者修改单文件训练脚本，并竞争使用一个 NVIDIA L40S GPU 在子采样 TabArena 上达到固定的下游 ROC AUC 目标。当前的最佳记录在 0.92 分钟内达到目标，比 74.32 分钟的基线加速了 81 倍，同时使用的合成数据集减少了 22 倍。 speedrun 格式为社区提供了一个简单的协议来添加、验证和堆栈预训练改进，并开放排行榜以供贡献。代码和记录可在 https://github.com/borawhocodess/modded-nanotabpfn 获取。