论文
BalanceRAG:级联检索增强生成的联合风险校准
BalanceRAG: Joint Risk Calibration for Cascaded Retrieval-Augmented Generation
摘要
大语言模型 (LLM) 可以通过检索增强生成 (RAG) 增强事实性,但当仅模型答案可靠时,无需将 RAG 应用于每个查询。这激发了级联 RAG:每个查询首先由仅 LLM 的分支处理,仅在主分支不确定时升级为 RAG 回退,并在两个分支都不够可信时放弃。然而,逐步校准此类级联可能比较保守,因为最终效用取决于 LLM-only 和 RAG 的联合不确定性阈值。在这项工作中,我们开发了 BalanceRAG 来验证目标风险水平的阈值对。给定两个分支的不确定性分数,BalanceRAG 将每个阈值对构建为二维网格上的操作点,并使用顺序图形测试来识别安全操作点。这使得风险自适应阈值校准成为可能,控制可接受点之间的系统级错误率,同时保留更多示例。此外,BalanceRAG 扩展到多风险校准,允许检索使用与选择条件风险结合在一起。对多个 LLM 主干网的三个开放域问答 (QA) 基准进行的实验表明,与始终在线的 RAG 相比,BalanceRAG 满足规定的风险级别,保留更高的覆盖范围和更容易接受的正确示例,并减少不必要的检索调用。