论文

TAPE:OCT-OCTA 分析中基础模型的两阶段参数高效自适应框架

TAPE: A two-stage parameter-efficient adaptation framework for foundation models in OCT-OCTA analysis

模型训练参数高效训练

摘要

光学相干断层扫描 (OCT) 和 OCT 血管造影 (OCTA) 图像的自动分析对于可靠的眼科诊断至关重要。现有的从头开始训练的主流方法严重依赖海量数据和模型规模,从而阻碍了它们在资源有限的临床环境中的实际部署。尽管基于基础模型(FM)的迁移学习前景广阔,但它仍然面临重大挑战:领域转移和任务错位。为了解决这些问题,我们提出了 TAPE:通过参数高效 微调 的两阶段适应框架,该框架战略性地将适应解耦为域对齐和下游分段的任务拟合。域适应阶段特别在医学图像域适应的掩模图像建模的背景下应用了参数高效的 微调 (PEFT),这是据我们所知的一种新颖方法。将 TAPE 应用于通用(掩模自动编码器,MAE)和专用(RETFound)FM 上的视网膜层分割,它展示了卓越的参数效率,并在不同的病理学中实现了最先进的泛化性能。