论文
HyCal:用于跨学科少样本类增量学习的 无需训练 原型校准方法
HyCal: A Training-Free Prototype Calibration Method for Cross-Discipline Few-Shot Class-Incremental Learning
摘要
像 CLIP 这样的预训练视觉语言模型 (VLM) 在持续学习方面显示出了前景,但现有的少样本类增量学习 (FSCIL) 方法假设同质域和平衡的数据分布,限制了现实世界的适用性,因为数据来自异构学科,样本可用性不平衡且视觉复杂性各异。我们确定了域引力,这是一种表征不对称,其中异构域之间的数据不平衡导致代表性过高或低熵域不成比例地影响嵌入空间,导致原型漂移和代表性不足或高熵域的性能下降。为了解决这个问题,我们引入了跨学科变量少样本类增量学习(XD-VSCIL),这是一个捕捉现实世界异质性和不平衡性的基准,其中领域重力自然加剧。我们提出了混合原型校准(HyCal),这是一种结合余弦相似性和马哈拉诺比斯距离的 无需训练 方法,以捕获互补的几何特性 - 方向对齐和协方差感知幅度,从而在不平衡的异质条件下产生稳定的原型。 HyCal 在冷冻 CLIP 嵌入上运行,在保持效率的同时实现了一致的保留适应性改进。实验表明,HyCal 有效减轻了域引力,并且在不平衡的跨域增量学习中优于现有方法。