SynerMedGen：通过任务调整将医学多模式理解与生成相结合

统一多模态理解和生成是医学领域开始出现的一个引人注目的前沿领域。然而，有限的现有统一医学模型通常将理解和生成视为脱节的目标，缺乏有意义的功能协同作用。在这项工作中，我们确定并解决了统一医学建模中的一个关键问题：哪种形式的理解真正有利于一代。我们提出了 SynerMedGen，这是一个建立在所提出的生成对齐理解原则基础上的统一框架，它通过任务对齐将理解目标与生成任务协同起来。 SynerMedGen 引入了三个与代相关的理解任务和一个两阶段训练策略，该策略将在理解训练期间学到的对代有益的表示转移到医学图像合成中。值得注意的是，即使仅了解训练，我们的 SynerMedGen 在 22 个医学图像合成任务中也实现了强大的零样本性能，并展示了对未见过的数据集的强大泛化能力。当与生成训练相结合时，SynerMedGen 始终优于最先进的专业医学图像合成模型以及最近的统一医学模型。我们还发布了一个名为 SynerMed 的大规模数据集，由 1M 配对合成样本和 2M 生成理解实例组成，以支持理解生成协同作用的进一步研究。我们的项目可以通过 https://github.com/piooip/SynerMedGen 访问。