论文
PRA-RAG：可证明检索增强生成中的鲁棒聚合，防止检索损坏
PRA-RAG: Provably Robust Aggregation in Retrieval-Augmented Generation against Retrieval Corruption
摘要
检索增强生成（RAG）通过合并外部知识来增强大语言模型（LLM），有效缓解其固有的知识限制。然而，RAG 仍然容易受到中毒攻击，这些攻击会操纵检索到的文本来误导模型输出。现有的防御机制通常缺乏理论上的稳健性保证，并且当 LLM 对检索内容的了解有限时，其执行不可靠。在这项工作中，我们提出了 PRA-RAG，这是一种可证明稳健的检索聚合算法，旨在防御对检索文本的中毒攻击。 PRA-RAG 对检索到的文本的多种组合进行采样，并利用嵌入空间中的几何结构来识别稳健的子集，从中导出稳定的聚合表示。我们提供了中毒检索内容最大影响的理论界限，并建立了 RAG 鲁棒性的定量衡量标准。跨多个基准和 RAG 架构的实验表明，PRA-RAG 将攻击成功率降低至低至 1%，同时保持 71% 的准确率，显着优于代表性的最先进方法。