超越整体评分：细粒度词元与视觉区域的对应作为 LVLM 幻觉的稳健检测器

大型视觉语言模型（LVLM）在视觉推理任务上表现出色，但仍然非常容易产生幻觉。现有的检测方法主要依赖于粗略的、整个图像的测量来衡量对象标记与输入图像的关系。这种全局策略是有限的：幻觉词元可能在许多局部区域表现出微弱但广泛分散的相关性，这些相关性聚合成具有欺骗性的高整体相关性，从而逃避当前的全局幻觉检测器。我们从一个简单但关键的观察开始：忠实的对象标记必须牢固地扎根于特定的图像区域。基于这一见解，我们引入了一个补丁级幻觉检测框架，该框架检查跨模型层的细粒度 词元级 交互。我们的分析揭示了幻觉词元的两个特征：（i）它们产生分散的、非局部的注意力模式，这与忠实词元中看到的紧凑、集中的注意力形成鲜明对比； (ii) 它们未能表现出与任何视觉区域有意义的语义对齐。在这些发现的指导下，我们开发了一种轻量级且可解释的检测方法，该方法利用补丁级统计特征并结合隐藏层表示。我们的方法在 词元级 幻觉检测中实现了高达 90% 的准确率，证明了细粒度结构分析在检测幻觉方面的优越性。