论文
LoRSA：面向生物医学下游任务的可推广参数高效 微调
LoRSA: Toward Generalizable Parameter-Efficient Fine-Tuning for Biomedical Downstream Tasks
摘要
参数高效的 微调 使视觉基础模型能够在有限的计算资源下适应生物医学任务，但单个低秩更新可以将所有特定于任务的更改限制在一个狭窄的参数子空间内。这种限制可能会阻止模型同时表示全局共享的任务结构和泛化到看不见的成像域所需的局部残差方向。我们引入了LoRSA，一个全局残差适应框架，它联合学习密集的低秩组件和动态结构化的稀疏低秩组件。密集组件捕获全局协调的任务适应，而结构化组件提供补充的残差校正，其支持在训练期间不断变化。我们描述了这种分解的表示能力、近似性质、等级结构和奇异子空间互补性。我们使用 DINOv3-Base 评估 LoRSA 的四级乳腺密度分类，以 VinDr-Mammo 作为源域，以 MammosighTR 和 RSNA 作为不可见的外部域。 LoRSA 在内部验证集上保持竞争力，并在两个目标数据集上实现了最佳外部宏 F1，在 MammosighTR 上比最强的竞争方法提高了 2.15 个百分点，在 RSNA 上比最强的竞争方法提高了 3.09 个百分点。权重矩阵分析进一步表明，每个适应组件的大约 $92\%$ 能量位于另一个组件的双边奇异子空间之外，这表明这两个组件学习的更新方向很大程度上是互补的。这些结果表明，将适应能力组织成不同的全局路径和残差路径可以改善参数有效适应的生物医学视觉模型的外部域泛化。