LimiX-2M：缓解表格基础模型中的低秩崩溃和注意力瓶颈

表格基础模型 (TFM) 日益与树集成相媲美，但它们的性能通常计算效率低下：使用标准仿射标量标记化，每个特征通过本质上一维的通道注入值变化，并且特征 ID/位置信号无法增加特征值内的自由度，从而产生较弱的早期层值敏感性和冗余隐藏状态。我们为强大的 TFM 提出了一个统一的标记和路由框架：RaBEL 将每个标量扩展为紧凑的局部 RBF 特征（可选地指数门控），以改善调节和浅层有效秩，而重新排序的双向块 S->N->F 通过在特征混合之前聚合跨样本上下文并使用注意力池来将计算与读出对齐。这些变化共同产生了 LimiX-2M，这是一种 2M 参数模型，在广泛使用的表格基准上优于更大的 TabPFN-v2 和 TabICL 基线，同时降低了训练和推理成本。这些结果强调了价值感知标记化和读出对齐路由是提高 TFM 准确性和效率权衡的关键杠杆。模型检查点和推理代码可在 https://github.com/limix-ldm-ai/LimiX 上获取。