TabPFN 中上下文级可靠性的拓扑签名

TabPFN 是一种基于 Transformer 的表格预测基础模型，通过对支持集和查询输入进行调节来执行推理，无需特定于任务的训练。尽管其实证性能很强，但其在结构困难的表格几何上的内部行为仍然知之甚少。我们使用 zigzag 持久同源性来研究这种行为，将 TabPFN 层表示视为不断演化的点云。我们构建了一个合成表格任务的受控基准，具有已知的真实概率和各种内在拓扑，包括扭曲圆、环面、球体、Hopf 链接、三叶结和瑞士卷。在这些任务中，我们发现 TabPFN 内部表示几何的拓扑与数据集级可靠性密切相关；例如，第零个同源组 $H_0$ 碎片计数与受控任务的平均绝对残差呈正相关，并且这种关联在大样本量的高分辨率扭曲圆案例研究中得到加强。较硬的几何形状会产生双重拓扑特征：$H_1$ 循环活动增加，$H_0$ 碎片增加，而 $H_1$ 持久性变得更短。这些描述符与贝叶斯误差、平均绝对残差和过度自信相关。我们的结果表明，之字形持久性可以诊断推断的上下文任务几何形状的可靠性，并提供 TabPFN 在拓扑应力状态下运行时的上下文级别视图。