组合零样本学习中从模型模式到抽象语义

构图零射击学习旨在通过重新组合学习的基元来识别未见过的构图。最近的方法依赖于视觉语言模型，并尝试通过多种表示来显式地建模基元的上下文变化。然而，此类方法受到固定变量容量以及抽象和具体语义之间的竞争的限制。在这项工作中，我们提出了一个新的视角，将原始变化视为具体视觉线索的上下文驱动激活，而不是独立的实体。在此基础上，我们提出了 CLEAR，这是一种受人类感知过程启发的 CLoze 风格的基于推理的重排序框架。 CLEAR 以从粗到细的方式从基元候选集中提取条件变体，执行完形填空式推理以推断高级语义，并对预测重新排序以纠正对显着具体基元的偏差。大量实验表明，CLEAR 不断改进基础模型，并在具有挑战性的 C-GQA 和 MIT-States 数据集上优于最先进的方法。代码可在 https://github.com/buptLwz/CLEAR 获取。