使用掩模条件潜在扩散和大型慢性伤口数据集的迁移学习生成合成麻风病图像
Synthetic Leprosy Image Generation Using Mask-Conditioned Latent Diffusion and Transfer Learning from Large Chronic Wound Datasets
摘要
针对被忽视的热带疾病的机器学习受到数据而非算法的限制：麻风病（汉森氏病）的公共注释图像集数量有数百个，比生成模型所需的数量级低。我们询问经过大量慢性伤口摄影训练的模型是否会转移到这种低数据状态。我们建立了一个三级管道。首先，DeepLabV3-ResNet50 分割网络（验证 Dice 0.876，IoU 0.799）为两个伤口数据集提供病变掩模，而这两个数据集没有提供病变掩模。其次，我们从 Stable Diffusion 1.5 组件中组装了一个掩模调节的潜在扩散模型，并在 3,280 个感兴趣区域伤口作物上对其进行训练，将 UNet 输入卷积从 4 个通道扩大到 11 个通道，以接纳三个掩模特征图和模糊的低频上下文潜伏。第三，我们在从大约 150 名患者的 764 张图像中提取的 708 个麻风图像掩模对上对该模型进行了微调。我们使用 LPIPS 感知距离进行评估，通过在相同的 242 个锚定图像上计算的真实与真实基线作为跨集比较来锚定；如果没有该参考，则无法解释交叉集距离。生成的集合没有显示模式崩溃：其内部感知多样性 (0.662) 在统计上与真实麻风病集合 (0.672, 95% CI [0.664, 0.680]) 没有区别。生成的图像位于真实分布之外 0.044 LPIPS - 可测量地分开，但低于一个标准差的一半。微调仅略微改变了输出分布，我们仅通过输入串联就可以追踪到到达网络的病变几何形状。因此，慢性伤口摄影是麻风病灶合成的可行供体领域：低水平外观转移良好，剩下的障碍是语义控制而不是图像质量。