LLM 将相关性编码为分层跨语言信号

大语言模型 (LLM) 越来越多地在信息检索 (IR) 管道中用作相关性判断器和重新排序器。然而，大多数分析仍然以输出为中心，评估生成的标签或分数，同时对模型内部如何表示相关性提供有限的洞察。在这项工作中，我们研究了查询文档（q-d）相关性是否可以从指令调整的 LLM 中的残余流激活中线性解码，该信号如何与生成的相关性判断进行比较，以及它是否跨语言传输。使用 TREC DL20 和 MIRACL 评估集合，我们通过 UMBRELA 风格的相关性判断提示来指导中等规模的 LLM（4-9B 参数），从每个 Transformer 层中提取最后一个词元激活，并训练线性探针来预测相关性标签。我们将探针预测与生成的判断进行比较，并使用 TREC DL20 来测试探针衍生的伪标签是否可以根据人类判断保留系统排名。我们的结果表明，q-d 相关性被编码为深度相关信号：探测性能在早期层中较弱，在中后期层中最强，这表明在上下文集成后相关性变得更加线性可访问。最重要的是，在几个模型中，验证选择的探针匹配或优于生成的判断，并更好地保持系统排名，揭示内部相关性表示和外部表达之间的分离。多语言实验表明部分跨语言可移植性，尽管传输仍然弱于语言内解码。总体而言，这项工作为基于 LLM 的相关性评估提供了代表性层面的视角。逐层探测可以帮助诊断相关性出现的位置、生成的判断何时无法反映内部可用的证据，以及相关性表示在语言、数据集和模型系列之间如何变化。