论文

用可解释不确定性决定何时检索、何时继续推理

Interpretable Uncertainty for Adaptive Retrieval and Reasoning in Question Answering

上下文与知识检索增强

摘要

大语言模型 (LLM) 在问答 (QA) 方面取得了出色的表现,但仍然容易产生幻觉,并且透明度有限。检索增强生成(RAG)可以提高事实性,但有关何时以及如何从外部资源检索的决策通常基于不透明的策略或计算效率低下的多步骤提示程序。我们提出了一种基于从 LLM 内部表示导出的显式信号的自适应 QA 不确定性感知框架。我们区分知识不足和知识模糊或冲突,并在单个前向传递中从隐藏状态有效地估计这些知识。这些信号指导系统行为:当知识不足时会触发 RAG,而当歧义或冲突严重时会应用额外的推理。通过将自适应决策建立在分解且可有效估计的不确定性信号中,该方法为支持可解释的面向用户的工具的设计的现有检索和推理策略提供了透明且实用的替代方案。