学习使用 大语言模型 将查询路由到头部进行基于注意力的重新排序

大语言模型 (LLM) 最近被探索为细粒度的零样本重新排序器，通过利用注意力信号来估计文档相关性。然而，现有的方法要么聚合所有头的注意力信号，要么依赖由启发式规则识别的静态选择的子集。该解决方案可能不是最佳的，因为信息头可能因查询或域而异。此外，由于冗余或冲突的排序信号，天真地组合多个头可能会降低性能。在本文中，我们提出了一种依赖于查询的头选择方法 RouteHead，用于使用 LLM 进行基于注意力的重新排序。具体来说，我们学习一个轻量级路由器，它可以将每个查询映射到最佳头集，并且通过仅聚合来自这些头的注意力信号来计算相关性分数。由于查询到头部的最佳标签不可用，我们首先通过离线搜索构建伪标签。路由器用可学习的嵌入表示每个头，并使用从冻结的 LLM 的隐藏状态中提取的嵌入表示每个查询。然后使用稀疏正则化器对伪标签进行训练。对不同基准和多个 LLM 主干的实验表明，所提出的方法始终优于强基线。