促进学习会改变什么？ -视觉语言模型的自然语言概念分析

提示学习通过优化连续提示向量来适应 CLIP 等视觉语言模型，但学习到的提示很难用自然语言解释。我们提出了 PromptSpLiCE，这是一种事后方法，它将每个类条件文本嵌入表示为来自固定自然语言词典的概念的稀疏组合。在即时学习之前和之后使用相同的词典可以让我们比较他们的概念概况的变化。我们在 CoOp 上评估 PromptSpLiCE，这是一种代表性的即时学习方法，涵盖 11 个图像分类数据集。概念概况发生了很大变化：平均而言，最初的前 10 个概念中只有 1.6 个在学习后仍保持在前 10 名中。在整个数据集中，轮廓变化与准确性增益呈正相关。我们还推导了一个局部梯度表达式，它提供了几何直观，说明为什么与当前提示不同的图像对齐概念方向可以具有更大的损失敏感性。