通过比较图进行可靠的 LLM 评估的提示扰动

评估 大语言模型 (LLM) 对于了解其功能、比较竞争系统以及支持在实践中部署可靠模型非常重要。对于开放式任务，成对评估已成为一种流行的范例，其中比较对同一提示的两个响应，并将所得判断汇总为总体排名。这种范式的一个主要挑战是不及物性：引发的比较结果可能无法支持任何连贯的全球排名。例如，人们可能会观察到循环偏好，例如 $A \succ B \succ C \succ A$，或涉及关系的不一致，例如 $A \equiv B\equiv C\neq A$。这些矛盾使得由此产生的排行榜不稳定并且难以解释。在本文中，我们提出了一个即时扰动框架来提高成对 LLM 评估的一致性。我们的方法生成每个提示的扰动变体，使用生成的比较图来识别和过滤掉结构不一致的比较模式，然后将标准排名方法应用于过滤后的比较。所提出的框架的一个关键特征是，在排名聚合之前，图级结构一致性被明确地纳入评估管道中。这提供了一种简单而有原则的方法来减少循环不一致并提高 LLM 排名的可靠性。