论文
BAER:按裁判骨干自适应选择证据机制
Backbone-Adaptive Evidence Routing for Robust Pairwise LLM Judging
摘要
成对语言模型法官可以通过直接比较、推理或基于参考的验证来收集证据,但没有一个协议是跨基准和法官骨干的最佳协议。我们引入了骨干自适应证据路由(BAER),它在保持候选对称性的同时调整证据机制:交换两个响应可能会逆转偏好,但不能改变其强度。 BAER将每个专家的带符号偏好与候选不变的可靠性分开,并构建三个对称头:证据堆叠、基于可靠性的专家路由和候选盲参考验证。开发数据为每个基准-主干条件选择一个头,并且该选择在测试之前被冻结。在四个基准和两个 8B 判断骨干中,BAER 在所有八种条件下实现了比较方法中最高的测试精度,具有完整的预测覆盖范围,并且比最强的外部基准提高了 0.87--7.32 分。结果表明,调整证据收集方式比在各处固定一种判断协议更可靠。