论文
利用图像编辑基础模型实现数据高效的 CT 金属伪影减少
Leveraging Image Editing Foundation Models for Data-Efficient CT Metal Artifact Reduction
摘要
高衰减植入物产生的金属伪影严重降低了 CT 图像质量,模糊了关键的解剖结构,并对需要大量配对训练数据的标准深度学习方法提出了挑战。我们提出了一种范式转变:通过参数高效的低秩适应(LoRA)来适应通用视觉语言扩散基础模型,将伪影减少重新定义为上下文推理任务。通过利用丰富的视觉先验,我们的方法只需 16 到 128 个配对训练示例即可实现有效的伪影抑制,从而将数据需求减少两个数量级。至关重要的是,我们证明了领域适应对于缓解幻觉至关重要;如果没有它,基础模型会将条纹伪影解释为错误的自然物体(例如华夫饼或培养皿)。为了基础恢复,我们提出了一种多参考调节策略,其中与损坏的输入一起提供来自不相关主题的干净的解剖样本,使模型能够利用特定于类别的上下文来推断未损坏的解剖结构。对 AAPM CT-MAR 基准的广泛评估表明,我们的方法在感知和放射特征指标上实现了最先进的性能。这项工作表明,基础模型在适当调整后,可以为可解释的、数据高效的医学图像重建提供可扩展的替代方案。代码可在 https://github.com/ahmetemirdagi/CT-EditMAR 获取。