DV-Lens：揭示语言模型参数的功能组织

了解参数函数有助于阐明大语言模型（LLM）的内部机制。然而，如何将参数从不同模块连接到可验证的输出效果，并进一步表征其功能组织和模型能力之间的关系还有待探索。为此，我们引入了下游词汇镜头（DV-Lens），这是一个参数级别的可解释性框架，它将本机参数方向与其下游词汇响应联系起来。具体来说，我们首先根据注意查询、键、值和输出 (Q/K/V/O) 预测和前馈网络 (FFN) 的参考提示集来估计特定于模块的下游雅可比行列式。其次，我们使用这些映射将本机参数列投影到最终词汇空间中，获得表征其平均本地输出响应的带符号读出。第三，我们按词汇读出对参数列进行分组，并引入下游词汇复杂性（DV-Complexity），它使用原始权重的归一化重建残差来量化组内结构变化。在参数级别，随机对照和有限差分测试表明，DV-Lens 读出可以捕获非随机词汇结构，并在 9 个模型的 720 个案例中以 98.0% 的坐标方向一致性预测局部 Logit 变化。这些读出进一步指导参数消融，在 21 个模型之间进行转向和交换，在受控条件下沿预测方向移动目标token概率。在模型级别，DV-Complexity 的联合参数评分与 48 个语言模型的基于基准的能力排名的 Spearman 相关性达到 0.904。总之，这些结果为 DV-Lens 解释提供了基于干预的证据，并揭示了 DV-复杂性和模型能力之间的关联。