论文

RAG 崩溃:当检索到的文档是自行创作时,LLM 响应崩溃

RAG Collapse: LLM Responses Collapse When Retrieved Documents Are Self-Authored

模型评测模型行为与机制分析

摘要

LLM 响应基于互联网(通过训练或 RAG),人工智能现在用于生成大量在线内容(Paredes 等人,2026),创造了自我强化反馈循环的潜力。先前的工作表明,当 LLM 对自己的输出进行递归训练时,它们会经历模型崩溃(Shumailov 等人,2024):响应变得不那么多样化,并最终不再类似于原始训练数据。在本文中,我们表明,如果基于 LLM 的人工智能系统使用搜索工具检索他们撰写的参考文献,也会发生类似的崩溃。我们称之为 RAG 崩溃。我们对三种类型的人工智能系统模拟进行了广泛的实验,使用三个模型系列和 1,019 个信息查找提示,总共 1,528 次模拟和超过 100 万次 LLM API 调用,结果发现 79.6% (1,216/1,528) 的模拟以崩溃告终。令人惊讶的是,即使是单个自己撰写的参考文献也可能引发崩溃,因为 LLM 不成比例地引用了自己的内容。即使在控制了参考质量之后,这种自我偏见仍然存在。