查询镜头：解释具有间接影响的稀疏键值特征

虽然稀疏自动编码器提供的特征比单个神经元更容易解释，但可靠地表征它们仍然具有挑战性。我们提出了 Query Lens，它扩展了 logits Lens，以实现对稀疏特征的更全面和忠实的解释。通过联合考虑编码器侧关键特征和解码器侧值特征，我们识别了激活特征的输入及其促进的输出。我们还考虑了下游模块处理特征时产生的间接、模块介导的影响，超出了 logits Lens 捕获的直接影响。在实验中，我们发现 Query Lens 为在 logits Lens 下仍然无法解释的特征生成连贯的词元签名。最后，我们提出子空间通道假设，建议下游模块通过特定于层的子空间读取特征。