扩散分类器如何决定？以偏见为中心的评估

扩散模型最近被重新用于零样本分类，从而产生了扩散分类器，它通过最小化噪声预测误差来识别最佳匹配的文本提示。尽管它们被越来越多地采用，但人们对这些模型如何做出分类决策仍然知之甚少。我们引入了 ASOB-Bench，这是一种沿着三个维度对扩散分类器进行偏差评估的方法：属性绑定、大小顺序偏差和背景依赖性。这些维度并不是详尽的分类法，而是作为文本条件重建误差分数如何做出决策的有针对性的探索。这种观点在判别性视觉语言模型中得到了很好的研究，但在扩散分类器中仍然被忽视。在新构建的数据集上使用五个新属性类别扩展现有框架，我们发现扩散分类器比 OpenCLIP 基线更不容易出现属性错误绑定；根据既定的 ComCo 基准，它们更容易受到尺寸顺序捷径的影响；在 ImageNet-B 上，它们的准确度下降幅度要大得多，这表明它们对背景的依赖超过了前景线索。重建误差热图和 U-Net 交叉注意力可视化揭示了每个偏差背后的机制。由于扩散分类器与文本到图像模型共享相同的降噪器，因此这些单遍诊断也指向生成中的类似故障模式。总体而言，扩散分类器表现出与视觉语言模型不同的偏差特征，为构建更强大的基于扩散的模型提供了指导。