生成语义模糊图像以探测人类和机器感知的框架

经典的鸭兔错觉表明，当视觉证据不明确时，人脑必须​​决定它所看到的内容。但是人类观察者到底在哪里划定“鸭子”和“兔子”之间的界限，而机器分类器是否在同一个地方划定界限呢？我们使用语义模糊的图像作为可解释性探针来揭示视觉模型如何表示概念之间的边界。我们提出了一个基于心理物理学的框架，该框架在 CLIP 嵌入空间中的概念之间进行插值，以生成模糊图像的连续光谱，使我们能够精确测量人类和机器分类器在何处以及如何放置其语义边界。使用这个框架，我们表明机器分类器更偏向于看到“兔子”，而人类更倾向于用于合成的 CLIP 嵌入，并且引导尺度似乎比机器分类器更强烈地影响人类的敏感性。我们的框架展示了受控模糊如何作为诊断工具来弥合人类心理物理分析、图像分类和生成图像模型之间的差距，从而提供对人类模型对齐、鲁棒性、模型可解释性和图像合成方法的深入了解。