EnsemHalDet：通过内部状态检测器集合进行稳健的 VLM 幻觉检测

视觉语言模型 (VLM) 擅长多模态任务，但它们仍然容易受到输入图像中实际上不正确或没有根据的幻觉的影响。最近的工作表明，使用内部表征进行幻觉检测比仅依赖模型输出的方法更有效、更准确。然而，现有的基于内部表示的方法通常依赖于单个表示或检测器，限制了它们捕获不同幻觉信号的能力。在本文中，我们提出了 EnsemHalDet，这是一种基于集成的幻觉检测框架，它利用 VLM 的多种内部表示，包括注意力输出和隐藏状态。 EnsemHalDet 为每种表示训练独立的检测器，并通过集成学习将它们组合起来。多个 VQA 数据集和 VLM 的实验结果表明，EnsemHalDet 在 AUC 方面始终优于先前的方法和单检测器模型。这些结果表明，集成不同的内部信号可以显着提高多模态幻觉检测的鲁棒性。