考西洛技术报告

我们介绍 Causilo，一种表格基础模型 (TFM)，它将前沿预测性能与异常快速的推理相结合。在 TabArena 上，Causilo 达到了 1785.4 Elo，每 1K 测试样本的中位推理时间为 0.10 秒。它的性能优于 TabPFN-3.5-Fast，推理时间减少了 31.6%，处于性能效率 Pareto 前沿。 Causilo 遵循 TabICL 的先列后行架构，但在行压缩之前引入了另一个行细化模块。该模块在列编码后在每行内的单元格表示之间交换信息。然后，精炼后的单元通过额外的列阶段再次访问上下文集，然后被压缩为行嵌入。为了提高推理效率，两个行阶段都通过固定数量的摘要标记使用交叉注意力，使其注意力成本与特征数量呈线性关系。 Causilo 在大约 3600 万个合成表上进行了预训练，在 TabArena、BeyondArena 和 ScoringBench 上提供了强大的基准测试结果，以显着加快的推理速度实现了前沿水平的性能。