视觉语言模型长尾泛化的集群感知神经崩溃提示调整

即时学习已成为 微调 预训练视觉语言模型 (VLM) 的有效替代方案。尽管有其前景，当前的方法在适应类不平衡数据集时仍然难以保持尾类可辨别性。在这项工作中，我们提出了集群感知的神经崩溃提示调整（CPT），它增强了提示调整的 VLM 中尾部类的可辨别性，而不牺牲其整体泛化性。首先，我们通过从预训练的 VLM 中挖掘语义分配并将其映射到即时调整的特征来设计集群不变空间。这会计算簇级边界并将约束限制在局部邻域，从而减少对预训练 VLM 的全局语义结构的干扰。其次，我们引入了神经崩溃驱动的可辨别性优化，具有三种损失：文本等角紧框架（ETF）分离损失、类收敛损失和旋转稳定损失。这些损失共同塑造簇内几何形状，以实现更好的类间分离和类内对齐。对 11 个不同数据集的广泛实验表明，CPT 优于 SOTA 方法，在长尾类上具有更强的性能，并且对未见过的类具有良好的泛化能力。