面向决策的推荐重排序：Jev 的实证研究

大语言模型 (LLM) 已显示出推荐重新排名的前景，但它们的使用在推荐质量和服务效率之间引入了重要的权衡。当重新排序任务基本上是预定义候选项目之间的结构化选择时，我们研究面向决策的模型是否提供了有用的替代方案。具体来说，我们对 Jev 进行了一项受控实证研究，被 TypeSafe AI 描述为“系统一模型”，用于个性化推荐重新排名，并将其与跨多个亚马逊评论域和候选集大小的特定推荐模型以及逐点和列表 Qwen 重新排名进行比较，评估推荐有效性和观察到的服务延迟。我们的结果表明，Jev 相对于评估的基线保持了很强的推荐有效性，同时表现出比逐点 Qwen 重新排序器更加渐进的延迟增长，尽管其观察到的服务延迟仍然大大高于特定于推荐的模型。总之，这些特征使 Jev 处于跨候选规模和领域的独特质量延迟操作机制中。这些发现激发了对面向决策的推荐模型和其他具有结构化输出空间的排名任务的进一步研究。