当知识发生变化时：带有突变的 RAG 系统的变形测试

基于检索增强生成 (RAG) 的 LLM 系统依赖于可以随时间演变和变化的外部文档语料库。然而，当前的评估方法（例如 RAGAS）根据静态快照评估正确性，无法在例行更新、事实变化或噪声改变基础数据时检测到错误。我们引入了一个变质测试框架，用于评估 RAG 系统在语料库演化下的一致性。我们形式化了一个错误分类法和 11 个变异算子，它们在块前（检索索引）和块后（检索上下文）级别系统地扰乱系统。对五个数据集和超过 28,000 个突变体的实证评估显示，变质违规率为 4.9-10.2%。在针对 真值 的元评估中，我们的变质预言机实现了 0.927-1.000 的 F1 分数，而最佳 RAGAS 指标仅达到 0.570。最后，我们提供了通过检索重新配置、生成器升级和基于 LLM 的重新排名来减轻这些故障的可行见解。