LoopICL：循环单个Transformer块来解决表格任务

使用上下文学习的表格基础模型最近在预测表格任务上超越了梯度提升树。然而，最近的机制见解表明这些模型中的参数很大程度上是多余的。我们引入了 LoopICL，这是一种循环Transformer，其核心设计将参数计数与计算深度解耦。 LoopICL 由单个块组成，通过两个耦合流处理数据：捕获每个单元特征表示的单元流和捕获上下文示例表示的行流，通过列内和跨列注意联合细化。在预训练期间，我们改变循环计数，允许在测试时展开块进行不同数量的迭代，并使用学习的退出门自动退出。在其标准设置中，LoopICL 在 TabArena 和 TALENT 上以相同的计算成本 (FLOP) 与 TabICLv2 相媲美，同时使用的参数减少了近 90%。此外，其循环设计使用户还可以权衡推理成本和性能，从而提供资源感知的 TFM。