板状基础模型的机理研究

具有不同架构的表格基础模型在一系列分类和回归任务中的准确性趋于一致。这就提出了排行榜无法回答的问题：（i）模型是否执行相同的上下文算法，（ii）行、列和类排列不变性的起源，以及（iii）它们在针对推断机制设计的扰动下的鲁棒性如何。我们描述了这三者的特征。模型族实现了基于相似性的定性不同的读数：从对上下文标签的注意力加权投票到类别条件均值读数，每个读数都通过因果干预得到确认。我们发现，先前工作中强调的代表性崩溃对他们来说并不是一个实际问题。每个模型的排列不变性都追溯到特定的位置参数，删除这些参数可以保持准确性并使近似不变性精确。针对每个读数设计的扰动再现了预测的故障模式；中心和等级攻击将它们与改装基线隔离开来。这些结果共同给出了当代表格基础模型的机械解释，并确定了哪些归纳偏差决定了其准确性和特征故障。