SOMTab：设置顺序 Mamba 以实现高效的表格上下文学习

基于上下文学习的表格基础模型最近已成为特定任务模型拟合的强大替代方案。然而，当前的性能前沿仍然由注意力密集的架构主导，其中注意力贯穿于整个建模流程。这就提出了一个自然的问题：表格情境学习的每个阶段都需要注意吗？我们引入 SOMTab，这是一种用于高效表格上下文学习的 Set-Order Mamba 架构。 SOMTab 将表示构造与查询条件检索分开。对于行和列表示，它将无序表标记映射到稳定的潜在槽中，并应用基于 Mamba 的状态空间混合来构造紧凑表示。对于最终预测，它保留基于注意力的上下文学习，以保留来自标记上下文示例的查询条件检索。我们进一步介绍了 DCH-TailMix，一种合成先验，它将度数校正图异质性与混合重尾机制相结合，以实现合成依赖结构的多样化。在表格基准测试中，SOMTab 接近基于 Transformer 的强大表格基础模型的性能，同时实现更快的推理和更低的 GPU 内存使用，从而实现有利的效率与准确性权衡。