LLM 法官有暗电流：LLM 作为法官评估的心理测量数据表

LLM-as-a-judge 系统现在通常用于开放式模型评估，其中人类偏好注释成本高昂、缓慢且难以重现。然而，这些法官经常被报道为标量准确性、胜率或协议设备。我们认为，法官应该被视为测量工具。我们引入了判断数据表协议，该协议可测量真真空输入下的暗电流、对相同质量表面变化的稳定交叉敏感性、位置错误偏好、受控质量阶梯上的目标敏感性以及由连接指令引起的标准或操作点。方向稳定性分解揭示了明显的 Delta0 偏好可以是稳定的表面响应或隐蔽的位置偏差。在三法官开放权重案例研究中，Llama-3.1-8B 显示出高暗电流和呈现冲突的 Delta0 行为，Qwen2.5-14B 是真空清洁和目标敏感的，但混合了稳定和位置过度歧视，而 Qwen2.5-32B 是真空清洁，具有低稳定交叉敏感性和低位置错误偏好。严格的平局标准消除了 Qwen32B Delta0 错误偏好，但将边际 Delta1 目标信号吸收到平局中，同时保留 Delta5 灵敏度。结果表明，提示改变了标准，而不是解决了决心。我们并不声称推动这项工作的下游机制假设得到了证实；该贡献是在下游索赔之前测量测量设备的计量协议。