论文
TabDPT-Turbo：用于表格预测的高效上下文学习
TabDPT-Turbo: Efficient In-Context Learning for Tabular Prediction
摘要
在情境学习的推动下，表格基础模型的质量和受欢迎程度迅速提高。然而，最近使用基于单元的架构或检索的方法已经牺牲了原始性能的效率，限制了它们在计算有限或推理速度至关重要的情况下的实用性。我们采用另一种方法，坚持基于行的注意力，同时结合长上下文 预训练 来消除检索的需要。通过将其与架构改进和 SSL 预训练 相结合，在新来源的、更大的真实数据结果语料库上，我们推出了 TabDPT-Turbo，该模型可在 TabArena-Lite、CC18 和 CTR23 上提供与 TabDPT v1.1 相当的默认性能，速度要快几个数量级。在我们的实验中，TabDPT-Turbo 是领先基础模型中整体速度最快的模型。我们已在 https://github.com/layer6ai-labs/TabDPT-inference 发布了新模型 TabDPT v1.2。