从廉价信号中获取丰富洞见：基于张量分解的高效评估

超越把异构提示的表现压成单一分数的评估，走向提示级或在相对同质子集内的细粒度评估，是诊断生成式模型强弱项所必需的。然而这类细粒度评估受数据瓶颈制约：在此规模下人工金标准标注过于昂贵，而自动评级常与人类判断不一致。为解决这一挑战，我们提出一个基于张量分解的新统计模型，把廉价的自动评分器数据与有限的人工金标准标注合并。具体而言，该方法用自动评分器分数预训练提示与生成模型的潜在表示，再用小校准集把这些预训练表示对齐到人类偏好。这种样本高效的方法对自动评分器质量稳健，比标准基线更准确地逐提示预测人类偏好，并为关键统计参数提供紧凑的置信区间。我们还通过构建基于提示质量的细粒度排行榜、以及仅凭自动评分器分数估计模型表现而免除额外人工标注，展示了方法的实用价值。