超越以相关性为中心的检索：面向标题的文档集选择和排序

随着大语言模型和AI代理成为搜索结果的主要消费者，文档集质量决定了下游生成的上限。然而，现有的评估系统仍然局限于独立地对文档进行评分并通过 nDCG 进行聚合，忽略了文档间的交互（冗余、冲突、互补性），并且无法回答是什么使一个文档集优于另一个文档集。为了解决这些问题，我们提出了一个完整的评估-诊断-优化框架。我们设计了SetwiseEvalKit，一个三级、九维的文档集评估基准，涵盖短篇和长篇场景，包含约28K高质量评估规则。我们系统地评估了 12 个重新排序器：即使是最好的方法也无法实现超过 45% 的覆盖率，跨文档协调维度普遍较弱，并且没有任何一种方法能够在两种设置中保持最佳性能。在此基础上，我们提出了 Rubric4Setwise，一种 无需训练 方法，它将基于 rubric 的评估标准转换为文档集选择信号，以更少的文档和搜索轮数实现最佳的下游生成性能。它是唯一能够在两种场景中保持最先进结果的方法，验证从评估到优化闭环的有效性。