张量积表示探针揭示了线性方向上的共享结构

虽然研究人员正在语言模型中寻找表示为线性方向的概念，但一堆线性方向无法捕获关系结构。为了更好地理解这种二分法，我们研究了一个具有已知线性表示的模型，但在高度结构化的领域（棋盘游戏黑白棋）中进行了训练。虽然模型的内部板状态表示是线性可解码的，但我们发现了张量积表示（TPR）形式的附加结构。我们训练 TPR 探针来恢复线性探针之间的共享结构，从而分解为方形嵌入、颜色嵌入以及将它们组合起来以构建模型的板状态表示的结合矩阵。我们在 TPR 探针的重量内发现了与电路板结构一致的几何特征，但也许更重要的是，线性探针可以直接从 TPR 探针的参数中恢复。我们的研究结果表明，方向表征可能是更结构化的底层表征的投影。