论文
GraphLoom:面向多模态KG-RAG的可靠性校准图证据路由
GraphLoom: Reliability-Calibrated Graph Evidence Routing for Multimodal KG-RAG
摘要
多模态检索增强生成(RAG)系统常依赖长的非结构化上下文或激进扩展的证据图,这会引入噪声证据、削弱多跳推理并增加无依据生成。我们提出GraphLoom,一个用于紧凑且忠实证据路由的可靠性校准多模态知识图谱RAG框架。给定问题及其关联的多模态输入,GraphLoom从有依据的场景描述、抽取的关系三元组和外部常识知识构建实例级多模态知识图谱。GraphLoom不将所有检索证据注入生成器,而是执行有界扩展的可靠性感知子图检索,通过分层图记忆槽和冻结语言模型中的图-序列联合注意力选择性地路由高效用证据。为提升复杂推理场景的鲁棒性,GraphLoom进一步将交错检索与预算化纠错检索结合,在噪声检索条件下实现自适应的多跳证据精炼。我们在ScienceQA、MultiModalQA和OK-VQA上评估GraphLoom,包括近似噪声外部知识检索的大型干扰证据池。实验结果显示,相比强多模态RAG、图检索和开源视觉语言基线,GraphLoom在答案质量和证据忠实度上取得一致提升,在MultiModalQA上检索质量改善,且在噪声证据池下保持稳定表现。基于MiniCheck验证、人工评估和延迟剖析的额外分析表明,可靠性校准的图证据路由为长上下文多模态证据注入提供了有效替代。
