WARP：与 Wasserstein 一致的 RAG 以获得民众意见

RAG 系统越来越多地用于总结大量文档的内容。用户问“人们对 X 有何看法？”并收到一个视为共识的答案。但标准的 top-k 检索是根据查询相似性对文档进行排名，而不是根据它们是否忠实地代表总体，因此少数观点悄然消失。现有的修复方法还不够。像 MMR 和 DPP 这样的多样性重新排序器将检索到的文档分开，但没有目标分布。基于 KL 或 JS 散度的校准方法确实以第一个为目标，但将意见箱视为无序：将强正值与强负值混淆的成本不超过相邻箱的缺失。我们引入了 WARP，这是一系列检索后算法，用于根据总体意见分布来校准检索到的证据。 WARP 首先恢复余弦排序可能掩盖的代表性不足的观点，然后使用 Wasserstein-1 距离选择情感强度分布与总体目标匹配的文档，捕获被 KL 和 JS 分歧忽略的序数结构。我们为密集、稀疏和可变候选池开发了三种变体，权衡校准质量和速度。在涵盖 35K 文档、156 个查询和 26 个实体的三个审查域中，WARP 的域匹配变体以亚秒级延迟将分布错误减少了至少 43%。这些收益会延续到一代人中：在 k <= 5 的决定比较中，有 86% 的 LLM 评审小组更喜欢由 WARP 生成的答案。