论文
FreqDINO++:用于通用超声分析的频率引导多任务路由视觉基础模型
FreqDINO++: A Frequency-Guided Multi-Task Routing Vision Foundation Model for Universal Ultrasound Analysis
摘要
超声图像分析在癌症筛查和产前诊断中发挥着至关重要的作用,但综合评估需要共同解决病灶分割和良恶性分类等任务。虽然最近的视觉基础模型已经显示出显着的普遍表征,但释放其超声潜力却因与自然图像之间的巨大域差距而受到瓶颈。现有的方法通常针对孤立的任务对重型视觉编码器进行微调,这会产生大量的计算开销,同时忽略异构任务之间的潜在共性。在这项工作中,我们提出了 FreqDINO++,一种用于通用超声分析的频率引导多任务路由视觉基础模型。我们首先引入了多任务路由适配器(MR-Adapter)来支持任务通用知识和任务特定知识的参数高效集成,然后设计了频率感知特征增强器(F$^2$-Enhancer)来捕获超声图像丰富的多尺度频率特征,并设计了任务对齐协作解码器(TC-Decoder)来通过全局本地词元交互促进密集和全局预测任务之间的协作。对大规模多任务和外部单任务超声基准的大量实验表明,FreqDINO++ 在 27 个不同的临床任务场景中始终优于强大的基线和最新的基础模型,同时还显示出对未见过的数据有希望的泛化能力。代码位于 https://github.com/MingLang-FD/FreqDINO-Plus。