论文
CDH-Bench：用于评估视觉语言模型中视觉保真度的常识驱动的幻觉基准
CDH-Bench: A Commonsense-Driven Hallucination Benchmark for Evaluating Visual Fidelity in Vision-Language Models
摘要
视觉语言模型 (VLM) 在许多基准上都取得了出色的性能，但一个基本的可靠性问题仍未得到充分探索：当视觉证据与常识相冲突时，模型是否遵循所显示的内容或常识所建议的内容？此设置中的一个典型失败是模型会覆盖视觉证据并输出常识性替代方案。我们将这种现象称为\textbf{常识驱动的幻觉}（CDH）。为了对其进行评估，我们引入了 \textbf{CDH-Bench}，这是一个旨在创建明确的 \textbf{视觉证据 - 常识冲突}的基准。 CDH-Bench 涵盖三个维度：\textit{计数异常}、\textit{关系异常} 和 \textit{属性异常}。我们在\textit{二元问答（QA）}和\textit{多项选择QA}下评估前沿VLM，并报告指标，包括\textit{反事实准确性}（CF-Acc）、\textit{常识准确性}（CS-Acc）、\textit{反事实准确性下降}（CFAD）、\textit{常识崩溃率}（CCR）和\textit{相对先验依赖性}（RPD）。结果表明，即使是强大的模型也仍然容易受到视觉证据（常识冲突）下先验驱动的标准化的影响。 CDH-Bench 提供了视觉证据（常识冲突）下视觉保真度的受控诊断。