TabPFN 内部的计算所在：注意力头功能的因果定位

我们提出了表格基础模型的第一个因果机制分析，研究了 TabPFN 2.5 的特征明智注意力头如何跨层分配计算。在两个合成回归数据集中使用激活补丁、消融和注意力熵，我们发现了明显的时间专门化：在峰值层，一个头的因果必然性比其他头的因果必要性高出 2 到 5 倍，其主导层在不同复杂性的任务之间转移，而其余头则表现出对称的后期层配置文件。注意力熵和修补为主导头的计算活跃层提供了收敛证据​​。我们还通过对比激活控制来研究推理时间的可控制性，但它无法跨样本转移。我们将此结果归因于 TabPFN 的上下文学习机制，该机制通过上下文相关的注意力来编码任务结构，而不是使语言模型中的转向易于处理的稳定参数方向。