UniProbe：使用多结构内部表示的大型 VLM 的可学习 词元级 幻觉检测器

大视觉语言模型（LVLM）实现了令人印象深刻的视觉推理和对话能力，但经常产生不受视觉输入支持的幻觉内容。有效的缓解措施需要 词元级 本地化，从而实现有针对性的干预而不丢弃整个响应。现有的检测器需要昂贵的全模型 微调，依赖于忽略模型生成过程的外部验证器，或者将内部信号减少为孤立的特征和手工制作的统计数据，丢弃空间、顺序和关系结构。我们引入了 \textbf{UniProbe}，这是一种轻量级、统一的、可学习的检测器，它可以通过单个前向传递对冻结的 LVLM 的异构计算轨迹进行建模。 UniProbe 在图像块、查询标记和生成标记上构建有向图，并使用注意力权重编码它们的关系。它使用交替的结构感知模块处理该跟踪：用于关系证据的 GNN、用于二维视觉几何的 ViT 以及用于响应顺序的 GRU。将它们交错允许空间、关系和顺序证据在整个探测器中相互作用。我们进一步开发了一种用于幻觉感知解码的流变体，该变体在生成过程中检测并重新采样幻觉词元，并开发了一种自适应策略，使检测器与 LVLM 自己的生成保持一致。跨越不同的 LVLM 主干，UniProbe 实现了最先进的 词元级 和物体幻觉检测。在解码过程中，它可将物体幻觉减少高达 55%，延迟时间为标准生成的 1.06 倍。