叠加表示流形的探索

本文介绍了流形探针（Manifold Probe），这是一种发现叠加表示流形的监督方法。该方法通过学习可以从表示中线性预测的概念的特征空间，然后学习用于编码它们的方向来概括线性回归探测。我们在 Llama 2-7b 中演示了对时间和空间表示的探索，找到了在每种情况下线性表示一组可解释特征的流形。就时间而言，我们表明，通过沿着流形引导，我们可以影响模型对著名歌曲、电影和书籍发行年份的完成，这提供了流形探针可以发现与模型行为因果相关的流形的证据。