胶囊镜头：定位和跟踪模型表示中的概念几何

理解概念如何在机器学习模型的内部表示中编码是机械可解释性的核心问题，对于深度学习科学和日益强大的模型的可靠部署都至关重要。现有的解释模型表示的方法主要是将表示映射到更可解释的空间上，并且不直接表征概念如何占据表示空间；人们提出了各种假设，但往往缺乏严格的验证，并且主要集中在静态表示上。在这项工作中，我们介绍了 Capsule Lens，这是一个框架，该框架将概念占据的区域与简单的、可追踪的几何形式相匹配，胶囊由几个可解释的参数定义，以封闭的形式适合每个概念的几何形状，并在保留的样本上进行验证。我们将胶囊镜头应用于两种主要设置：静态和动态表示。在静态表示上，我们演示了如何在各种模型中定位概念几何，以及跨度和范数曲线如何揭示重要的几何特征。在动态表示方面，我们提出了三个案例研究，跟踪由不同训练设置、CLIP 预训练、视觉问答上的 RL 后训练 和数学推理上的 RL 后训练 引起的表示漂移。这些分析揭示了本质上不同的几何动态，从 CLIP 预训练中广泛的网络范围重组到 RL 后训练 中的局部和特定概念的变化。我们的结果包括与现有文献一致的发现以及新颖的观察结果。我们相信 Capsule Lens 是一种很有前途的工具，可以在静态和动态表示中定位、分析和跟踪概念几何。