论文

证据接口塑造检索增强阅读器对支持材料的使用

Evidence Interfaces Shape How Retrieval-Augmented Readers Use Support

上下文与知识检索增强

摘要

在多跳RAG评估中,top-k答案分数可能掩盖两类不同的失败:检索窗口丢掉了支持链的一部分,或者包含支持材料的形式是适配后的阅读器用不好的。我们把检索证据面向阅读器的呈现形式称为证据接口。使用三个带支持标注的多跳QA基准,我们比较分别以原始上下文、检索窗口与黄金支持诊断渲染训练的配对适配阅读器。这些比较把支持可得性失败与残余的阅读器接口效应区分开:只有先核对完整标注支持链是否存活,top-k窗口才可解释——支持链完整时,短排序窗口可以匹敌甚至优于原始上下文;支持链不完整时,缺失支持解释了大部分损失。黄金支持优先提升配对阅读器;在2Wiki与MuSiQue上,支持监督的排序器提升覆盖率、以更低提示成本恢复原始上下文质量,同时保留黄金上限。支持移除检查进一步表明增益依赖暴露的证据,而不只是答案先验。因此,在支持标注的评估上,top-k答案分数应与完整支持覆盖率一并报告。

证据接口塑造检索增强阅读器对支持材料的使用:论文配图
图 1:证据接口诊断概述。对于固定的问题、答案和候选池,界面渲染器将相同的证据转换为不同的读者输入。然后,匹配的诊断将支持可用性与残余读卡器界面影响分开; Daggered 接口使用 gold-support 注释。