论文
使用简单的基于图的检索增强生成减少复杂问答中的幻觉（长版）
Reducing Hallucinations in Complex Question Answering using Simple Graph-based Retrieval-Augmented Generation (long version)
摘要
大语言模型 (LLM) 从根本上改变了自然语言处理 (NLP) 的格局，尽管它们仍然容易出错。检索增强生成（RAG）系统已成为一种常见的部署方案，旨在避免 LLM“幻觉”信息的众所周知的风险，并能够对 LLM 在训练期间无法访问的专有信息进行推理和问答，而无需诉诸昂贵的模型 微调。在这项工作中，我们探索了使用轻量级图结构和相对简单的图模式的想法，通过专用工具集支持 RAG 子系统。我们设计了一个代理系统，其中包含各种向量搜索和图形查询工具，在基于英语维基百科文章精选子集的结构化数据集上运行，并评估其对 MoNaCo 问题的性能，MoNaCo 是一个具有挑战性的基于维基百科的复杂问答 (QA) 任务基准。我们的结果表明，引入基于图形的工具可以显着提高事实正确性的精确度和召回率，可以将幻觉答案的数量减少一半，并在三种评估场景中获得最高的细粒度真实性得分。所有这一切都伴随着词元使用量的适度增加。