DIFFCZSL：通过扩散表示正则化组合零样本学习

组合零样本学习（CZSL）旨在通过利用从已见组合中学到的原始概念知识来识别未见的属性-对象组合。尽管最近的作品通过利用大型视觉语言模型在 CZSL 中取得了令人印象深刻的表现，但它们主要依赖于判别性表示，而这些表示可能无法明确保留原始概念及其组合之间的结构化关系。受最近基于扩散的分类器的成功及其相对于判别模型的竞争性能的启发，我们研究了中间扩散表示是否可以为 CZSL 提供补充线索。为此，我们提出了 DIFFCZSL，这是一种扩散增强框架，它将预先训练的扩散模型的生成先验注入到基于 CLIP 的 CZSL 管道中。我们提取中间扩散表示并将其投影到 CLIP 嵌入空间中，以提供对图像和文本模式的辅助监督。通过训练期间 CLIP 嵌入和扩散特征之间的对比对齐，我们的方法鼓励嵌入几何体实现更丰富的组合感知语义，同时在推理时不会引入额外成本。对三个公共 CZSL 基准进行的广泛实验表明，在封闭世界和开放世界设置下，与基于 CLIP 的强大基准相比，均取得了一致的改进。我们的结果强调了生成扩散表示和用于组合泛化的判别性视觉语言模型的互补优势。