VisAnalog：自然图像视觉概念迁移的诊断套件

视觉概念学习的有用测试不仅在于模型是否可以识别单个图像中的概念，还在于它是否可以在变换下保留和操作概念级属性并将其转移到新场景。我们推出了 VisAnalog，这是一个针对自然图像进行此设置的受控套件。每个示例都实例化 $A\!:\!B::C\!:\,?$：图像 $B$ 和隐藏目标图像 $D$ 是通过对源图像 $A$ 和 $C$ 应用相同的确定性变换序列来生成的。给定 $A$、$B$ 和 $C$，模型必须回答有关 $D$ 的多项选择题。该基准包含 617 个经过人工验证的问题，涵盖一到四步转换，例如缩放、象限交换、旋转、翻转和色调旋转。在强大的专有和开源 VLM 中，当直接显示 $D$ 时，端到端准确性大大低于预言机准确性，并且随着转换深度的增加而急剧下降，而人类的表现仍然接近上限。程序条件评估进一步将关系推理的失败与转换应用的失败区分开来，表明从 $A \rightarrow B$ 推断视觉关系是主要瓶颈，在更困难的多步骤情况下会出现额外的应用程序错误。该数据集可在 https://huggingface.co/datasets/zli99/VisAnalog 上公开获取。