CogniVerse：通过认知反思和几何推理彻底改变多模态检索增强生成

多模态检索增强生成（MMRAG）已成为通过集成外部视觉、文本和结构知识来增强知识密集型问答中的多模态 大语言模型 的强大范例。然而，现有的 MMRAG 框架面临着严重的局限性，包括噪声和不相关的检索、跨模态语义错位、缺乏自适应推理以及跨本地和全局上下文的不连贯生成。我们引入了 \textbf{CogniVerse}，这是一种新颖的 MMRAG 框架，它通过受认知启发的、严格的数学方法来解决这些挑战。 CogniVerse借鉴类人推理的原理，集成了三个协同组件：（1）认知反射模块，动态评估检索必要性并过滤相关的多模态内容，减少噪音和计算开销； （2）多模态检索模块，使用信息几何对齐黎曼流形中的嵌入，并通过谱图理论细化知识图，确保精确和连贯的检索； (3) 分层生成模块，采用基于传输的最佳损失来平衡 词元级 准确性和全局语义一致性。大量实验表明，CogniVerse 在准确性和连贯性方面显着优于最先进的系统，同时减少了检索延迟。