VASAE：使用词汇对齐锚定命名 SAE 词典方向

稀疏自动编码器（SAE）提供了 Transformer 残差流的有用分解，但它们学习的特征通常被命名为事后，而不是直接连接到 Transformer 的标记词汇表。我们引入了词汇对齐稀疏自动编码器（VASAE），这是一种在词汇对齐锚定下训练 SAE 特征的方法，并为每个特征分配一个内在标记名称：嵌入最接近该特征的标记字符串。与标准 SAE 相比，VASAE 生成具有词汇对齐特征的词典，而不会降低重建质量。使用最近标记对齐分数的 0.8 截止值，在 GPT-2 小后残差流上训练的字典对齐了第 0--10 层中约 90% 的特征。在 Llama-3.1-8B 中，代表性的浅层和中层字典包含强对齐的特征，其中 92.8% 位于浅层，而代表性的最终层字典显示有限的对齐。减去句子级平均稀疏代码后，案例研究表明许多剩余的内在标记名称与附近的输入标记相关。这些结果表明，词汇对齐锚定可以在训练期间将学习到的特征与内在标记名称连接起来，补充学习到的词典的事后解释。