论文

Sieve 和 Sage:有效的分心过滤,实现可靠的 RALM 弃权

Sieve and Sage: Efficient Distraction Filtering for Reliable RALM Abstention

上下文与知识检索增强

摘要

正如苏格拉底认识到自己知识的局限性一样,检索增强语言模型(RALM)应该在检索到的证据无法支持可靠的响应时学会放弃。现有的方法很大程度上依赖于单一的 LLM 来一步处理异构检索失败,导致弃权性能有限且计算成本高昂。相反,我们将检索失败分解为两种不同的状态:(i) 无法回答的状态,即所需证据不存在;(ii) 分散注意力的状态,即相关证据与冲突、否定或对抗性信息混合在一起。基于这种分解,我们引入了一个轻量级模块(Sieve),该模块可以在调用昂贵的 LLM(Sage)进行grounding生成和弃权之前筛选检索到的文档集以查找分散注意力的证据。经过一般领域和高风险专家领域的评估,我们的 Sieve 和 Sage 框架能够抢先检测分散注意力的噪声,与一级基准相比,系统准确度提高了 69.4 个百分点,Macro-F1 提高了 55.2 个百分点。此外,它还实现了高达 1.99 倍的加速,为具有弃权的 RALM 建立了高效可靠的弃权管道。