论文
从残差流预测 LLM 评审的顺序翻转
Will the Judge Flip? Predicting Position-Sensitive LLM Judgments from Residual Stream Activations
摘要
候选人回答的呈现顺序可以改变 LLM 法官的裁决。检测这种位置翻转通常需要以两个顺序判断每一对，这使得判断次数增加了一倍。我们研究在初始判决之前记录的残余流激活是否可以预测翻转。我们使用嵌套分组交叉验证来评估 3 个 Qwen3 法官和 Llama-3.1-8B 的 534 个 JudgeBench 对上的正则化线性 探针。线性 探针 实现了 0.621-0.850 的 AUROC，并且优于使用言语置信度、判决标签逻辑、响应长度和法官初始选择的组合基线 0.062-0.113 AUROC。 Linear 探针 在 JudgeBench 上训练，然后冻结，在 1,802 次 MT-Bench 比较中实现了 0.685-0.853 的 AUROC，无需 MT-Bench 拟合或重新校准。这些结果表明，预判决激活支持对候选顺序的敏感性的预测，并且优于此处评估的非激活预测器。