表格基础模型在上下文中计算什么？通过注意力门控更新进行原位表示细化

当每个表定义一个新的监督任务时，表格基础模型应该学习哪些可重用计算？我们开发原位表示细化：支持标签引导对剧集表示的更新，并且这些更新转移到未标记的查询而不更改模型参数。正则化的留一目标产生支持修正及其查询扩展。主要术语将基于注意力的阅读与状态相关的缩放分开，从而激发了RefineICL：一种注意力门控、无 FFN 的上下文堆栈，具有选定的低秩特征交互和类型化记忆。 RefineICL-L24 在 AMLB29 上达到 0.93836 OVR-AUC 和 0.87173 准确度。基准通知的延续在 38 个数据集 TabArena 快照上达到 1644.8 Elo，在相同的评估下比 TabPFN-3 高出 31.4 Elo。它还在两个 TabZilla 视图上比 TabPFN-v3 改进了所有四个报告指标。在匹配的 100K 更新深度网格中，扩展的 FFN 没有提供一致的验证优势，并且在 L8 时使用了 60.2% 的峰值推理内存。内部干预表明，支持表示不仅仅是标签的静态来源：删除一个中间支持更新，同时保留查询输出，增加了所有 72 个测试片段中的最终查询交叉熵。推导和干预共同解释了注意力门控更新如何在上下文中构建特定于任务的预测器。