论文

通过整体投票减轻 RAG 中的幻觉

Mitigating Hallucination on Hallucination in RAG via Ensemble Voting

上下文与知识检索增强

摘要

检索增强生成(RAG)旨在通过整合外部知识来减少 大语言模型(LLM)中的幻觉。然而,RAG 引入了一个关键挑战:“幻觉上的幻觉”,其中有缺陷的检索结果误导了生成模型,导致复合幻觉。为了解决这个问题,我们提出了 VOTE-RAG,一种新颖的 无需训练 框架,具有两阶段结构和高效、可并行的投票机制。VOTE-RAG 包括:(1)检索投票,其中多个代理并行生成不同的查询并聚合所有检索到的文档;(2)响应投票,多个代理根据聚合文档独立生成答案,最终输出由多数投票决定。我们的结果表明,VOTE-RAG 的性能可与更复杂的框架相媲美或超越。此外,VOTE-RAG 具有更简单的架构,完全可并行,并避免了“问题漂移”风险。我们的工作表明,简单、可靠的整体投票是减轻 RAG 幻觉的一种优越且更有效的方法。