论文

GraphLoom:面向多模态KG-RAG的可靠性校准图证据路由

GraphLoom: Reliability-Calibrated Graph Evidence Routing for Multimodal KG-RAG

上下文与知识知识图谱

摘要

多模态检索增强生成(RAG)系统常依赖长的非结构化上下文或激进扩展的证据图,这会引入噪声证据、削弱多跳推理并增加无依据生成。我们提出GraphLoom,一个用于紧凑且忠实证据路由的可靠性校准多模态知识图谱RAG框架。给定问题及其关联的多模态输入,GraphLoom从有依据的场景描述、抽取的关系三元组和外部常识知识构建实例级多模态知识图谱。GraphLoom不将所有检索证据注入生成器,而是执行有界扩展的可靠性感知子图检索,通过分层图记忆槽和冻结语言模型中的图-序列联合注意力选择性地路由高效用证据。为提升复杂推理场景的鲁棒性,GraphLoom进一步将交错检索与预算化纠错检索结合,在噪声检索条件下实现自适应的多跳证据精炼。我们在ScienceQA、MultiModalQA和OK-VQA上评估GraphLoom,包括近似噪声外部知识检索的大型干扰证据池。实验结果显示,相比强多模态RAG、图检索和开源视觉语言基线,GraphLoom在答案质量和证据忠实度上取得一致提升,在MultiModalQA上检索质量改善,且在噪声证据池下保持稳定表现。基于MiniCheck验证、人工评估和延迟剖析的额外分析表明,可靠性校准的图证据路由为长上下文多模态证据注入提供了有效替代。

GraphLoom:面向多模态KG-RAG的可靠性校准图证据路由:论文配图
图1. GraphLoom 架构。给定一个问题及其关联的多模态输入,GraphLoom 构建实例级多模态知识图谱,检索紧凑的、以任务为条件的证据子图,并将检索到的证据组织为多模态前缀记忆和分层键值图谱槽位。一个经可靠性校准的路由器选择高效用槽位,并通过 KG-JSA++ 联合图—序列注意力将其注入冻结的解码器。交错检索和预算受限的纠错检索改善了多跳证据覆盖率,而验证—修订环节则支持忠实的答案生成。