论文
MODE-RAG：流形异常值诊断和基于能量的检索增强生成评估
MODE-RAG: Manifold Outlier Diagnosis and Energy-based Retrieval-Augmented Generation Evaluation
摘要
虽然多模态检索增强生成（M-RAG）增强了大视觉语言模型，但它仍然非常容易受到跨模态幻觉、因果捏造和阿谀奉承的影响。此外，现有的缓解管道经常面临干预悖论：静态规则往往会不必要地破坏准确的生成，而完全不受指导的多模态推理则允许现有的不匹配级联成严重的因果虚构。为了量化和减轻这些幻觉，我们提出了一种多智能体系统，MODE-RAG，由变分自由能（VFE）和内部注意力状态驱动，以动态地控制干预。高风险查询被路由到五个特定阶段的代理，集成蒙特卡罗树搜索（MCTS）以进行严格的因果推导，并集成 logits 扰动以惩罚阿谀奉承。专门的纠正和监督代理确保格式稳定性并执行事后事实验证。为了客观地评估我们的方法，我们引入了 ModeVent，这是一个源自 MultiVent 数据集的具有挑战性的子集。大量实验表明，我们的系统有效降低了幻觉率和因果虚构，显着提高了 M-RAG 系统的鲁棒性。