论文

C^2GR:耦合综合生成重播,用于持续学习的通用分割模型

C^2GR: Coupled Comprehensive Generative Replay for a Continually Learnable Universal Segmentation Model

模型训练持续学习

摘要

通用分割模型对于涉及不同成像模式和分割目标的各种任务表现出巨大的潜力。任务增量学习提供了一种隐私保护方法,可以根据顺序到达的医疗部门的任务不断发展通用模型。然而,仅根据传入任务训练模型会导致忘记过去的任务,因为连续的任务表现出图像外观和分割目标的并发变化。为了解决这个问题,我们提出了一种新颖的耦合综合生成重放(C^2GR)框架,该框架同时合成先前任务的图像掩模对,以减轻并发外观和目标变化下的遗忘。这需要保留图像掩模对应关系以实现结构真实的生成,并桥接生成器和分割器的异步优化以实现面向分割的生成。具体来说,我们提出了一种贝叶斯联合扩散(BJD)方法,该方法将对应关系表示为通过条件去噪优化的条件分布。此外,我们开发了一种关系感知统一提示同步(RUPS)方案,通过共享任务关系感知提示同步调制生成器和分段器,以同步其优化。对涵盖不同模式和目标的 20 个任务进行的实验表明,与所有任务数据的联合训练相比,C^2GR 的整体性能仅下降了 2.44%,有效减轻了并发班次带来的遗忘。我们的代码将在 https://github.com/mar-cry/C2GR 上公开发布。