SenseJudge：以人为本、偏好驱动的判断框架

大语言模型 (LLM) 作为各种场景的法官，例如评估模型响应，正在成为越来越被接受的范例。然而，现有的判断方法通常依赖于使用固定偏好数据的训练有素的判断者，这往往会忽视不同的用户偏好，并且难以适应现实世界的人机对话场景。为了解决这些限制，我们提出了 SenseJudge（一种由人类偏好驱动的可定制判断框架）和 SenseBench（一种源自现实世界多轮交互的多样化且具有挑战性的指令跟踪基准）。我们将自动判断框架和基准应用于两项任务：（1）LLM 作为个性化判断，（2）模型排名。我们进行了大量的实验，结果表明，SenseJudge框架在LLM-as-personalized-judges任务中超越了其他判断方法和模型，并实现了符合人类真实感觉的模型排名。此外，我们还进行了位置偏差和一致性分析以及消融研究，这证实了 SenseJudge 的稳健性。