论文

RecycleLoRA:用于领域广义语义分割的基于秩揭示QR 双 LoRA 子空间自适应

RecycleLoRA: Rank-Revealing QR-Based Dual-LoRA Subspace Adaptation for Domain Generalized Semantic Segmentation

模型训练参数高效训练

摘要

域广义语义分割 (DGSS) 旨在跨未知目标域保持稳健的性能。视觉基础模型 (VFM) 提供丰富的多领域知识,可以增强泛化能力。然而,积极利用 VFM 中丰富的子空间结构的策略仍未得到充分探索,许多现有方法主要侧重于保留预先训练的知识。此外,它们的 LoRA 组件通常受到表征多样性有限和参数利用效率低下的困扰。我们提出了 RecycleLoRA,它通过采用秩揭示 QR 分解 (RRQR) 系统地利用 VFM 的子空间结构并增强 LoRA 的表征丰富性来解决这两个挑战。我们的主适配器利用 RRQR 识别的次要子空间方向来学习多样化且独立的特征,即使单独使用也能实现有竞争力的性能。我们进一步引入了一个子适配器,它通过最小的调整仔细细化主要方向,为主适配器强大的基线性能提供补充改进。这种设计使双适配器能够学习不同的表示,而不需要额外的正则化损失。我们通过基于 RRQR 的初始化系统地利用预训练的子空间结构,从而实现卓越的域泛化性能。 RecycleLoRA 在合成到真实泛化和真实到真实泛化任务上实现了最先进的性能,而无需复杂的架构或额外的推理延迟。