位置偏差破坏了基于 Listwise LLM 的重排序中的偏好一致性

大语言模型 (LLM) 已成为推荐系统有前途的列表重排序器，但它们在等效候选排列下的可靠性仍不清楚。由于推荐候选形成一个无序集合，因此重新排序器不应依赖于用于序列化它们的任意顺序。然而，仅解码器的 LLM 重新排序器可以允许输入顺序影响模型分数、成对偏好和排名。我们研究位置偏差如何影响基于 LLM 的重新排名器引起的排名过程。我们不是只测量最终排名列表的变化，而是将等效候选排列下产生的排名视为诱导偏好系统的观察。我们引入了一个评估框架，衡量成对偏好的不稳定性、全局偏好的不一致和列表输出的一致性。该框架描述了成对、全局和输出级别的候选顺序敏感性。跨多个 LLM、数据集和列表长度的实验表明，这些一致性度量紧密一致，但可能与推荐有效性和边际位置暴露偏差有所不同。提高相关性或平坦化不同职位的暴露并不一定能恢复稳定的成对偏好、全局一致的偏好结构或一致的排名输出。这些结果表明，减少边际暴露偏差不足以在基于 LLM 的重新排名中建立排名函数的有效性。代码可在 https://github.com/ejbito/InvariRank 获取。