大小并不重要：余弦评分稀疏自动编码器

稀疏自动编码器 (SAE) 通过内积检测特征，因此特征的激活会随着其方向对齐和输入范数而缩放。因此，无论内容对齐如何，在词元规范上触发的功能都会占用字典槽。这很重要，因为子层归一化已经丢弃了分数测量的大小，因此编码器检测到模型未读取的数量。我们用学习到的余弦相似度和输入幅度的混合来替换分数，让优化器选择使用多少范数；每个功能的扩展让每个功能独立决定。在这两种机制中，训练可以自由地恢复内积，但从来没有这样做，没有任何特征选择超过一半的依赖性。在匹配重建时，余弦编码器比标准更频繁地学习与人类可识别概念一致的特征，填充内积在范数检测器上浪费的字典槽。均衡梯度的损失重新加权勉强缩小了差距，确认了前向传递分数几何作为杠杆。这种优势在任务或深度上并不普遍，但我们相信余弦评分应该是标准化表示的字典学习的默认设置。