少镜头 CLIP 适应的概念约束即时学习

少样本提示学习是使 CLIP 适应下游任务的有效策略，但仅类提示优化可能会过度拟合基类监督并削弱对未见类的迁移。我们提出概念约束提示学习（CCPL），这是一种轻量级正则化框架，它将可学习的类提示锚定到冻结的概念级文本原型，而无需更新 CLIP 编码器。 CCPL 学习一组共享上下文标记，通过附加类名称来实例化类提示，并从类级概念库构造冻结的概念原型。在训练期间，文本空间余弦一致性目标将可学习的类提示嵌入与冻结的概念原型对齐；概念丢弃提供了额外的规范化，以防止过度依赖固定概念列表。在推理时，CCPL 可以选择使用可控的整体权重 alpha 将类提示 logits 与概念原型 logits 融合。我们的默认配置使用文本空间概念正则化 lambda = 0.5、概念 dropout p = 0.3 和弱概念引导融合 (alpha = 0.1)，没有基于 KL 的预测一致性项。在相同的自动生成的后备分割下进行的实验表明，与 CoOp 相比，CCPL 提高了 DTD (+0.6) 和 EuroSAT (+2.9) 上的基础到新调和平均值，同时在 OxfordPets (-0.1) 上保持接近中性。消融表明文本空间概念正则化始终是有益的，而最佳的概念引导推理强度是数据集和协议敏感的。这些结果表明，当概念原型与数据集语义自然对齐并将细粒度类别识别为当前边界条件时，概念约束最为有效。代码发布于：https://github.com/richael-sang/concept-constrained-prompt-learning。