分层稳健的零样本视觉语言模型

视觉语言模型（VLM）可以执行零样本分类，但容易受到对抗性攻击。虽然强大的 微调 提高了其鲁棒性，但现有方法将固定文本嵌入与图像嵌入对齐，牺牲了自然性能和鲁棒性。当模型面临针对超类（父类，例如哺乳动物）以及其基（叶）类（例如猫）的对抗性攻击时，也会发生鲁棒性下降。因此，为了增强对抗性的鲁棒性并利用类空间固有的分层属性，我们提出了一种基于分层嵌入和图像文本模态的几个级别的对抗性鲁棒对齐的新型对抗性 微调 框架。其他机制将视觉嵌入放置在所需的层次结构深度，并且我们提供了层次结构中嵌入深度与最大可行边距大小之间的理论联系。我们的模型自然地实现了多种边缘大小，从而促进了对手的泛化以实现鲁棒性。由于具有不同父标签的各种树可以共享相同的叶子标签，因此我们还考虑在多个树上对齐以提高语义多样性。跨多个数据集进行实验。