论文

用于可控溃疡性结肠炎进展合成的解缠结解剖疾病扩散(DADD)

Disentangled Anatomy-Disease Diffusion (DADD) for Controllable Ulcerative Colitis Progression Synthesis

模型训练合成数据

摘要

病理纹理和结构特征的纠缠阻碍了在可控疾病阶段合成纵向医学图像,同时保留患者特定的解剖结构。我们解决了溃疡性结肠炎 (UC) 内窥镜检查的这一挑战,其严重程度遵循梅奥内窥镜评分 (MES) 的连续顺序进展。我们的框架“解缠结解剖疾病扩散”(DADD)在两个互补嵌入上调节潜在扩散模型:用于患者解剖结构的预训练图像编码器和用于累积疾病严重程度的单独训练的序数嵌入器。由于图像嵌入不可避免地会捕获疾病信息,因此我们引入了特征纯化器,这是一种基于交叉注意的擦除机制,可以识别和抑制疾病相关通道,从而产生纯化的解剖表示。这些经过清理的解剖标记和目标疾病标记通过具有依赖于分辨率的路由门的三重路径交叉注意机制注入到去噪网络中。该架构利用 U-Net 层次结构,其中不同的网络深度编码全局结构与细粒度病理纹理。此外,我们还引入了 Delta Steering,这是一种源自序数嵌入的 无需训练 定向信号,可以在推理时对疾病转换进行明确的单遍控制,而无需额外的前向传递。我们的方法在 LIMUC 数据集上进行了验证,可以生成所有严重级别的高保真图像,并有效地重新平衡倾斜的类别分布,从而提高下游分类任务的性能。该数据集位于 zenodo.org/records/5827695,代码库位于 github.com/umutdundar99/progressive-stable-diffusion