图像生成器是零样本感知器吗？严格的评估

最近的工作（例如 Vision Banana）表明，轻量级指令调整可以使图像生成器在多个视觉感知任务中实现最先进的性能。受这个观点的启发，我们询问图像生成器在零样本设置下可以在公共视觉感知基准上走多远。我们介绍了 ProbeGen，这是一种零样本生成感知基准，它将单目深度估计、引用/推理分割和对象计数作为通过文本提示指定的条件生成任务，并在 11 个已发布的基准中比较了总共 20 个模型（包括专有和开放权重图像生成器、专业感知模型和 MLLM）。我们观察到，预训练的图像生成器显示出可测量的零样本感知能力，但有一个明显的权衡：专业模型在分布内准确性和效率方面仍然更强，而生成模型通常在分布变化下更稳健，并且在组合语义推理方面更出色。我们希望这项研究有助于将零样本生成感知确立为一个有意义的研究方向，并为未来视觉生成和理解交叉领域的工作提供有用的基础。