Transformer 的通信图

Transformer 的组件通过写入和读取共享残余流进行通信，机械可解释性文献已手动映射这些连接，一次一个电路。我们提出了通信图，它仅根据模型权重的几何形状绘制了每个潜在的通信渠道，概括了 Elhage 等人的组成分数。 （2021）转化为涵盖所有 18 个连接类别的单个耦合系数，从头到头到神经元到神经元以及之间的所有连接。我们提供了耦合系数属性的说明，包括其几何解释和精确的机会水平。人口普查发现，70-89% 的头部配对的方向绝非偶然，一些配对强烈，另一些则积极避开对方。我们在两个新颖的应用程序中演示了通信图。在应用 1 中，我们从最强的头对头耦合中恢复了已知的感应电路，并将头分组为社区，而消除一个这样的社区会破坏模型的上下文复制。在应用2中，我们汇集每个头的耦合系数来识别不同的二维残差流子空间，其删除消除了直到Pythia-6.9B的六个模型中的归纳能力。我们证明这个子空间与激活 PCA 或离群维度识别的子空间不同。我们发布地图、统计机制和干预套件。