论文

TIGER:利用基于图的证据路由进行可追踪推理,以减轻多模态生成中的幻觉

TIGER: Traceable Inference with Graph-Based Evidence Routing for Mitigating Hallucinations in Multimodal Generation

模型推理推理验证与自校正

摘要

我们研究多模态生成的事实级修复问题,即流畅的输出中可能包含输入不支持的具体事实。现有的推理时修复方法通常在输入与当前输出的共同条件下生成反馈。这种设计有两个局限:输出中的幻觉性论断会偏置模型对输入的解读,且自由格式的反馈无法在事实层面进行排序或调度。我们提出TIGER,一个为局部化修复重新设计反馈的推理时框架。TIGER独立地从输入提取观测图、从当前输出提取论断图,然后基于支持与冲突为每个论断赋予图条件化的风险分数。模型在保持主干冻结的同时修复被选中的高风险论断。我们给出收敛性分析,表明在温和假设下期望总风险按几何方式下降至一个显式渐近界。跨越图生文、图+文生文、音频生文与视频生文四条跨模态路径的实验表明,TIGER在保持任务质量的同时减少了无支持内容。增益在多个主干模型上均成立,并且CrisisFACTS案例研究表明,同一修复机制可以在多源设定中改善事实锚定。

TIGER:利用基于图的证据路由进行可追踪推理,以减轻多模态生成中的幻觉
图 1:TIGER 概述。 TIGER 首先生成初始输出,从输入和输出中提取事实图,按风险对索赔进行排名,并在本地修复选定的高风险事实,同时保持骨干网冻结。