用于多模态广义类别发现的协同双分支适应

广义类别发现（GCD）旨在对旧类别进行分类并从未标记的数据中发现新类别。最近的多模式方法将检索或合成的文本引入双分支架构中，以提供与视觉特征互补的语义线索。然而，现有双分支方法中的跨模态协同仍然粗糙且不完整：两种模态独立编码，编码过程中派生文本中的偏差和噪声未得到解决，并且现有的相互学习策略仅在全局类级锚点上运行，缺乏细粒度的关系监督。为了解决这些限制，我们提出了协同双分支适应（SDBA）框架，该框架作为与现有双分支方法（例如 GET 和 TextGCD）兼容的即插即用增强功能。 SDBA由两个部分组成：跨模态协同适配器将轻量级适配器插入到两个分支中，并进一步将视觉信息注入到每个编码器层的文本适配器中，以增强编码过程中的文本特征学习；邻域互学习模块通过双向 KL 散度在两个分支之间强制执行一致的局部邻域分布，为新旧类提供细粒度的关系监督。对六个基准的广泛实验证明了最先进的性能，并且在不同基准上的一致改进验证了所提出的框架的广泛可扩展性。