论文
通过推理时的相关性传播减轻多模态 LLM 幻觉
Mitigating Multimodal LLMs Hallucinations via Relevance Propagation at Inference Time
摘要
多模态 大语言模型 (MLLM) 在视觉和音频语言任务上表现出色，但可能会生成与给定视觉或听觉输入相冲突的响应，这一问题称为多模态幻觉。先前的研究表明，当模型更多地依赖文本线索和学习的语言模式而不是感知输入的证据时，就会发生这种情况。为了更直感知证据一致性说明这种不平衡，我们应用了逐层相关性传播（LRP），它将预测归因于各个输入标记，并使用所得的相关性分数来分析和减轻幻觉。首先，我们检查这种不平衡是否会导致多模态幻觉。我们发现，当模型较少依赖感知输入时，通常会出现幻觉，而改变这种依赖会影响其预测。我们进一步利用 LRP 并提出了一个 无需训练 框架，该框架通过在解码过程中优化键值表示来将相关性转向感知标记，而无需修改模型参数或需要训练数据。我们将此方法称为学习推理时间模态增强（LIME）。尽管没有使用空间或时间监督，LIME 仍将相关性集中在与查询相关的区域。我们在视觉和音频领域的多个多模式基准上评估 LIME，证明在保持生成质量的同时，幻觉持续减少并增强了视觉证据一致性。