RASER：面向多跳问答的可恢复性感知选择性升级路由

摘要

多跳问答系统通常对每个问题都使用昂贵的检索。他们可能会分解问题，运行几轮检索，或者在回答之前搜索桥接实体。所有这些策略都依赖于重复的LLM调用来重写或分解问题，这增加了额外的词元成本，并且在LLM预算紧张的情况下并不合适。然而，我们的分析表明，单个一次性 RAG 已经正确回答了许多多跳问题，因此对每个问题运行额外的检索会浪费预算。我们介绍 RASER（可恢复性感知选择性升级路由器），这是一个基于一次性 RAG 构建的廉价路由器系列及其六种功能。 RASER-2决定是停止还是升级到额外检索动作PRUNE。 RASER-3 在一次性 RAG、PRUNE 和迭代检索 IRCoT 之间进行选择，使用相同的功能，但增加了明确的成本精度权衡。两个路由器都不会进行额外的 LLM 调用来做出决定。在六个 LLM 和三个多跳 QA 基准测试中，这两款路由器与 F1 中其他最先进的 (SOTA) 基线保持竞争力，同时仅花费always-prune 的 41-49% 的令牌，也低于迭代和分解检索基线。

RASER：面向多跳问答的可恢复性感知选择性升级路由：论文配图 — 图 1：RASER 工作流程。示例问题需要两次推理跳跃才能回答（《青年路德》的作者是埃里克·埃里克森，他的配偶是琼·埃里克森），一次性 RAG 得到了错误的答案（“我不知道”）。它还产生六个功能。 RASER 会读取这六个相同的特征来决定选择哪个操作。 2 动作 RASER (a) 是单个 GBM 分类器：它通过检查桥实体并进行额外检索，在一次性 RAG 和 PRUNE 后直接停止之间进行选择。 3 动作 RASER (b) 是三个预测器加上一个令牌成本惩罚：它通过权衡预测的准确性和每个动作将花费的令牌，在一次性 RAG、Prune 和 IRCoT* 之间进行选择。对于这个问题，两台路由器都选择了PRUNE。步骤 3 显示桥梁提案者提出两个桥梁候选人（Martin Luther 和 Erik Erikson）；分支检索器重新检索每个块，分支验证器保留有用的块，最终合成器将桥与块组合起来以返回正确的答案 Joan Erikson。提示见附录 B.1。