论文
DualG-MRAG:面向多模态检索增强生成的宏观推理与微观匹配解耦
DualG-MRAG: Decoupling Macro-Reasoning and Micro-Matching for Multimodal Retrieval-Augmented Generation
摘要
尽管多模态检索增强生成(MM-RAG)已展现出可观的成果,它在复杂的多跳推理任务上仍然力不从心。现有方法主要关注独立的实例级匹配,往往无法捕捉跨模态与跨文档的显式关系。尽管图增强方法引入了结构建模,它们在多模态场景中面临一个根本挑战:纳入细粒度视觉特征会导致图快速扩张与检索噪声,而粗粒度表示又会丢弃关键局部证据。为破解这一困境,我们提出DualG-MRAG,一个双层框架,为多模态RAG引入由宏观推理图与微观匹配图构成的解耦架构。具体而言,为通过将全局结构推理与细粒度证据匹配相互隔离来抑制检索噪声,我们构建了用于全局拓扑路由的宏观图(Macro Graph)与用于精确局部验证的微观图(Micro Graph)。随后,为在异构证据源之间实现动态相关性传播,我们将检索形式化为经由GNN检索器(GNN Retriever)的查询驱动消息传递过程。此外,为给生成模型提供连贯的结构引导,我们引入一种动态规划解码机制,直接从GNN的前向传播中提取显式推理路径,以取代以孤立文档块作为标准输入的做法。大量实验表明,DualG-MRAG在证据召回与复杂问答准确率上均优于基线。
