论文
A$_3$B$_2$：自适应非对称适配器，用于通过少样本学习减轻视觉语言图像分类中的分支偏差
A$_3$B$_2$: Adaptive Asymmetric Adapter for Alleviating Branch Bias in Vision-Language Image Classification with Few-Shot Learning
摘要
用于大规模视觉语言模型（$例如$，CLIP）的高效迁移学习方法可以实现强大的小样本迁移，但现有的适应方法遵循固定的 微调 范式，该范式隐含地假设图像和文本分支的统一重要性，这在图像分类中尚未得到系统研究。通过广泛的分析，我们揭示了视觉语言图像分类中的分支偏差问题：调整图像编码器并不总能提高分布外设置下的性能。受这一观察的启发，我们提出了 A$_3$B$_2$，一种自适应非对称适配器，可以减轻少样本学习中的分支偏差。 A$_3$B$_2$ 引入了不确定性感知适配器阻尼 (UAAD)，当预测不确定性较高时，它会自动抑制图像分支自适应，从而无需人工干预即可实现软控制和数据驱动控制。在架构上，A$_3$B$_2$ 采用轻量级非对称设计，灵感来自负载均衡正则化的专家混合。对 11 个数据集的三个少量图像分类任务进行的广泛实验表明，A$_3$B$_2$ 始终优于 11 个基于提示和适配器的竞争基线。