基于知识图的增强与文化相关问答的检索增强生成

大型语言模型（LLM）存在长尾缺陷：特定文化的事实，特别是那些涉及拉丁美洲等代表性不足的地区的事实，在预训练语料库中很少出现，无法可靠地记忆。检索增强生成 (RAG) 通过在外部文本中生成生成来解决这个问题，但知识图 (KG) 等结构化替代方案可以对进入上下文的内容提供更严格的控制，并在可解释性和可更新性方面带来潜在收益。我们将 Graph-RAG 与 LatamQA 上的标准 RAG 进行基准测试，LatamQA 是一个跨越八个主题类别的基于文化的多项选择数据集。这些图表是使用最近的开放域提取器 KGGen 根据维基百科文章端到端构建的，在我们的主要设置中无需手动管理。 G-Retriever 与 RAG 具有竞争力，使用标准 KG 将基础 LLM 的误差降低了 72%，使用基准感知变体将基础 LLM 的误差降低了 78%，随着图表面向任务相关内容，与 RAG 的差距进一步缩小。经过训练的投影可以将零样本转换为葡萄牙语，无需目标语言微调，表明可以实现多语言覆盖。