Tydra：表格数据的高效混合模型

基于 Transformer 的表格基础模型（例如 TabPFN）实现了强大的预测性能，但会随着上下文长度而产生二次计算成本。另一方面，基于次二次 SSM 的替代方案（例如 Hydra）会牺牲精度来换取效率。为了平衡两者，我们引入了 Tydra，这是一种混合 Transformer 状态空间模型 (SSM) 架构，用于表格上下文学习，交错关注层和 SSM 层。在 30 个 OpenML 数据集中，Tydra 相对于 TabPFN 将推理时间减少了 30%，同时保留了大部分预测性能。 Tydra 的性能还优于大约十倍大的 Hydra 模型，同时提供更快的推理速度。结果表明，混合架构是表格基础模型的一个有前途的方向。