一次通过，任意顺序：基于 LLM 推荐的位置不变列表重排序

大语言模型 (LLM) 越来越多地用于推荐重新排名，但它们的列表预测可能取决于候选者呈现的顺序。这会在基于集合的推荐性质与仅解码器 LLM 的基于序列的计算之间产生不匹配，其中排列其他相同的候选集可能会改变项目分数和最终排名。这种顺序敏感性使得基于 LLM 的重新排名器难以依赖，因为排名可能反映即时序列化而不是用户偏好。我们提出了 InvariRank，一种排列不变的列表重排序框架，可以在架构级别解决这种依赖性。 InvariRank 通过结构化注意力掩模阻止跨候选者注意力，并通过旋转位置嵌入 (RoPE) 下的共享位置框架消除位置引起的评分变化。与列表学习排序目标相结合，该模型在一次前向传递中对所有候选进行评分，避免了需要对候选集进行多次排列的基于排列的不变性训练目标。推荐基准实验表明，InvariRank 保持了竞争性排名有效性，同时在候选排列中产生稳定的排名。结果表明，架构不变性是可靠且高效的基于 LLM 的推荐重新排序的实用途径。源代码位于 https://github.com/ejbito/InvariRank。