使用奇偶校验瓶颈层扩展可解释的 Transformer

语言模型被认为表现出叠加现象，代表的特征比其残差流中的维度多得多。稀疏自动编码器（SAE）旨在事后恢复这些特征，但可通过构造解释的训练模型仍然不切实际，因为每层的过度完成瓶颈在内存和计算方面都非常昂贵。为了克服这个问题，我们引入了 ParityTransformer，这是一种 GPT-2 规模的架构，其中间表示在设计上是高效且宽/稀疏的。在每一层，深度奇偶校验瓶颈 (DPB) 用无参数代数字典替换学习的过完备基础，提供确定性不相干保证，并消除大规模阻止每层可解释瓶颈的内存需求。 DPB 是一种分层结构的稀疏瓶颈，它使用多级专家混合方法有效地强制稀疏性：一种硬件感知的实现，将激活稀疏和密集训练之间的成本差距缩小到可管理的可解释性税。根据经验，ParityTransformers 在稀疏探测任务上的表现至少与事后 SAE 一样好，同时在特征吸收、转向有效性和细粒度因果干预措施方面表现出色。由于后续计算仅作用于在稀疏瓶颈中幸存下来的特征，因此 ParityTransformer 的特征是模型的前向传递的原生特征，解决了 SAE 是否探测模型在计算过程中实际使用的特征的问题。我们认为这是朝着训练模型迈出的一步，其内部表示可以通过设计来解释，而不是事后恢复。