论文
FAN-LoRA:用于医学基础模型域自适应的傅里叶自适应非线性低秩适配器
FAN-LoRA: A Fourier-Adaptive Nonlinear Low-Rank Adaptor for Medical Foundation Model Domain Adaptation
摘要
视觉基础模型,尤其是分段任意模型 (SAM) 的出现,促进了自然图像分割领域的重大进步。然而,它们向医学成像的直接转移仍然受到深刻的领域差距的严重瓶颈,例如跨模态和跨中心转移。现有的参数高效 微调 (PEFT) 方法有利于 SAM 适应医疗领域;然而,在严重的分布变化下,它们经常遭受性能下降的困扰。该漏洞主要源于共享低秩子空间内异构频率分量的隐式纠缠,这直接加剧了次优结构对齐和局部边界模糊。为了克服这一表征瓶颈,我们提出了傅里叶自适应非线性低秩适配器(FAN-LoRA),这是一种新颖的频率解耦 微调 架构。 FAN-LoRA 通过采用 B 样条驱动的低通分支进行全局结构对齐,并与离散傅里叶高通分支协同耦合进行局部纹理补偿,显式分离优化空间。在三个具有挑战性的跨模态和跨中心基准上进行的广泛实验表明,FAN-LoRA 始终优于最先进的 PEFT 基线。与最强大的竞争对手相比,我们的方法实现了平均 Dice 分数的持续改进和边界误差的显着减少,同时保持紧凑的模块尺寸而不影响计算效率。