CSPF：一种用于不可验证偏好评估的约束共享-私有融合方法

目前，对不可验证任务的可靠评估仍然具有挑战性。现有方法往往无法充分捕捉此类任务中人类偏好背后的多样化评估标准。为此，我们提出了约束共享-私有融合（CSPF），这是一种融合方法，将异构冻结奖励模型视为互补评估器，并学习在成对的人类偏好监督下整合其隐藏状态表示。 CSPF 将每个专家信号分解为共享和专家私有表示，鼓励跨专家协调，同时保留互补的观点。在 LM-Arena 目标域适应和 PPE 分布外偏好评估的实验中，CSPF 在评估的单专家奖励模型、标量分数多专家和评分标准基线中的主要指标上实现了最佳性能。总体而言，CSPF 建议融合隐藏状态表示为偏好评估提供更具表现力的基础，为不可验证的偏好任务提供综合评估信号的实用途径。