TabSwift：具有行注意力的高效表格基础模型

以 TabPFN 为例的表格基础模型通过上下文学习执行预测，直接从标记的训练示例中推断出测试标签。他们展示了具有竞争力的性能，特别是在中小型数据集上。然而，最近的表格基础模型通常会通过日益复杂的架构来提高准确性，从而导致更高的推理成本并限制实际部署。在这项工作中，我们重新审视了原始的 TabPFN 设计，并表明轻量级的仅行注意主干可以通过两个简单的增强功能保持高度竞争力：门控注意力稳定机制和一小组可学习的寄存器词元，这些词元提供全局上下文并提高预训练质量。由此产生的模型 TabSwift 支持分类和回归，并且可以与更强大的表格基础模型（例如 TabPFN v2 和 TabICL）竞争，同时推理效率更高。对于延迟敏感的服务，我们进一步引入了一种自适应逐层提前退出机制，可以动态调整每个样本的推理深度。总体而言，TabSwift 可以为实际部署提供高效且随时的表格上下文学习。