MoG：基于图的检索增强生成的专家组合

对检索增强生成进行了深入研究，以将 大语言模型 建立在外部证据之上。然而，从统一的知识库中检索可能不可避免地引入不相关的信息，这可能会误导生成复杂的推理。受专家混合（MoE）的条件计算的启发，其中路由器为每个输入稀疏地选择专业专家和共享专家，我们提出 \textbf{M}ixture \textbf{o}f 专家用于 \textbf{G}raph-based 检索增强生成，即 \textbf{MoG}。它将知识组织成两个核心组件：（i）多样化、始终可访问的中心图，对语义和结构上的中心知识进行编码，并为专家激活提供上下文线索；（ii）包含特定领域证据的稀疏激活的专家图。 MoG 首先访问中心图来识别一般证据并得出上下文线索。然后，拓扑感知路由器根据查询动态激活一组有限的专家图，从而将检索限制在集中的证据子空间。对具有挑战性的基准进行的大量实验表明，MoG 始终优于强大的基准，相对 MuSiQue 的改进超过 20%。我们的代码可在 https://github.com/DEEP-PolyU/MoG 中获取。