DecoyBench：视觉语言模型忽略可读的第二层文字

视觉语言模型 (VLM) 尽管在光学字符识别 (OCR) 任务中取得了成功，但很容易受到印刷攻击，并且对于具有多个文本层的图像具有脆弱的结构。在本研究中，DecoyBench 数据集是使用 Decoy Font 方法创建的。该数据集由 300 张图像组成，每张图像都包含具有清晰轮廓线的文本，叠加在另一个具有柔和阴影的文本上。使用该数据集在两种不同的提示条件（朴素和引导）和两种不同的分辨率（$512\times512$ 和 $64\times64$）下评估了来自三个不同模型系列的六个最近的闭源模型。一项验证研究表明，人类参与者可以高精度地阅读两个文本层。相比之下，具有大多数变体和两种提示方法的模型可以在高分辨率下以接近人类的精度读取轮廓文本，但几乎从未完全提取阴影文本。在低分辨率下，模型或人类都无法读取轮廓文本，而可以高精度地提取阴影文本。研究结果表明，所评估的 VLM 在处理包含多个空间频率层的印刷结构时表现出一致的行为限制。