SycoPhantasy：量化小型开放重量 VLM 中的阿谀奉承和幻觉，用于奇幻角色的视觉语言评分

视觉语言模型（VLM）越来越多地被部署为需要细致入微的图像理解的任务中的评估器，但它们在对图像和文本描述之间的一致性进行评分方面的可靠性仍未得到充分探索。我们研究了小型开放权重 VLM 在评估图像文本对齐时是否表现出 \emph{阿谀奉承} 行为：在不将判断建立在视觉证据的情况下分配高分。为了量化这种现象，我们引入了 \emph{Bluffing Coefficient} (\bc)，这是一个衡量模型得分与其证据召回之间不匹配的指标。我们以 173,810 个人工智能生成的人物肖像和详细的文本描述为基准，评估了 6 个开放权重 VLM，参数范围从 450M 到 8B。我们的分析揭示了模型大小和阿谀奉承率之间存在显着的负相关（$r = -0.96$，$p = 0.002$），较小的模型表现出更高的不合理高分率。测试的最小模型（LFM2-VL，450M）在 22.3% 的情况下产生了阿谀奉承的评价，而最大的模型（LLaVA-1.6，7B）则为 6.0%。这些发现对于在属性丰富的合成图像评估任务中部署小型开放权重 VLM 作为自动评估器具有直接影响，其中分配的分数和引用的视觉证据之间的差距既是可测量的，也是重要的。