AB-RAG：自适应预算检索增强生成，实现可靠的问答

检索增强生成（RAG）已成为将 大语言模型 融入外部知识的标准方法，但大多数系统为每个问题检索固定数量的段落，无论其难度如何。这会浪费简单问题的计算量，让困难的问题得不到计算，并且不会给出何时可以信任生成的答案的信号。随着建立在商业语言模型 API 之上的问答系统的份额不断增加，一种可以决定检索多少内容以及在多大程度上信任自己的答案而无需重新训练底层模型的方法具有明显的实用价值。本文提出了 AB-RAG（自适应预算检索增强生成），这是一个 无需训练 和骨干网无关的框架，它生成答案，根据三个信号的组合估计其置信度，然后根据固定的检索预算决定是否停止或检索更多证据。估计器结合了模型自身的确定性、答案与证据之间的一致性以及检索分数的方差。对于公开词元概率的模型，直接读取确定性信号；对于封闭式 API，它通过自一致性来近似，因此该方法无需访问模型内​​部即可工作。在三个主干网和两个数据集上，核心结果是置信度估计可靠地将每个主干网上的正确答案与错误答案区分开来，在事实数据集上的高置信度答案和低置信度答案之间达到 57.6% 的完全匹配与 0% 的完全匹配。自适应策略提高了有能力的骨干网的准确性，并且该研究诚实地报告了其负面和细微的发现，包括被证明不适合简短答案的置信信号和通过测量发现并纠正其符号的检索信号。整个研究是在一台消费类笔记本电脑上进行的，仅花费了几美元的 API 费用。