RAG-Stress：探索检索增强生成中证据依赖的极限

遵循检索到的证据并不能保证事实的正确性：误导性证据可能会导致模型替换它之前正确给出的答案。标准准确性测量通过将答案替换与预先存在的错误相结合来掩盖这种行为。我们引入 RAG-Stress，这是一种受控诊断协议，用于检查检索增强生成中证据依赖的局限性。该协议固定问题和参考答案，编辑一个断言以支持指定的错误答案，并将两个源优先级策略与证据文本中答案范围的三个位置交叉。我们测量了每个模型在无需检索的情况下正确回答的问题子集的误导率 (MR)，以及整个评估集的干净准确性。我们评估了 15 个系统，涵盖 API 模型、开放模型和在 TriviaQA-RC、HotpotQA 和 SearchQA 上经过强化学习训练的搜索代理，以及额外的英语和中文 MedQA 评估。优先处理文档的指令始终会产生比允许的指令更高的 MR 对先验知识的依赖。对模型和位置进行平均后，三个 QA 数据集之间的差距在 10.9 到 13.5 个百分点之间。在两种策略下，平均 MR 均遵循结束 $>$ 开始 $>$ 中间，尽管各个模型并不统一遵循此顺序。对 500 个问题和两个检查点的单独配对审核支持增加有害覆盖，但没有在有益纠正方面建立相应的改进。这些发现将证据依从性与事实可靠性区分开来，并激发评估检索到的证据是否保留、替换或纠正模型的答案。