预测转向向量成功的地方

引导向量适用于某些概念和层，但不适用于其他概念和层，并且从业者无法在进行干预之前预测适用哪种设置。我们引入了线性可访问性配置文件 (LAP)，这是一种每层诊断，可将 logits 镜头重新用作转向矢量有效性的预测器。关键度量 $A_{\mathrm{lin}}$ 将模型的非嵌入矩阵应用于中间隐藏状态，无需训练。在五个模型（Pythia-2.8B 到 Llama-8B）的 24 个受控二元概念族中，峰值 $A_{\mathrm{lin}}$ 预测 $ρ= +0.86$ 到 $+0.91$ 的转向有效性，以及 $ρ= +0.63$ 到 $+0.92$ 的层选择。三态框架解释了均值差引导何时起作用、何时需要非线性方法以及何时没有方法起作用。实体引导演示证实了端到端的预测：LAP 推荐层的引导会重定向 Gemma-2-2B 和 OLMo-2-1B-Instruct 上的完成，而中间层（标准启发式）对任一模型都没有影响。