条件医学图像生成的组合奖励模型

获取高质量的带注释的医学图像数据对于训练深度学习模型至关重要；然而，注释昂贵、耗时，并且需要领域专业知识。条件扩散模型（例如 ControlNet）通过生成以语义掩模和文本为条件的图像来提供替代方案。然而，现有方法无法捕获细粒度属性（例如强度和纹理）以及领域专家期望的语义一致性，从而限制了它们对下游任务的有效性。最近使用强化学习 微调 解决这些问题的尝试仍然有限，因为它依赖于单一标量奖励，这会合并不同的故障模式并提供微弱的纠正信号。我们提出了 PRISM，一种用于条件医学图像生成的组合奖励模型 (CRM) 框架。我们没有分配单一奖励，而是将图像质量分解为基于验证者的阶段，每个阶段评估从精细到粗略属性的正确性的不同方面，包括低级属性（强度和纹理）、与调节输入的结构对齐以及高级语义保真度。这些阶段性奖励是通过分层约束传播（HCP）机制组成的，该机制强制执行从细到粗的正确性概念，确保在产生更高级别的奖励之前解决较低级别的缺陷，从而防止更容易的目标掩盖关键失败。我们在涵盖不同医学成像任务的三个数据集上评估 PRISM：PanNuke（多类细胞分割）、CeDeM（绒毛/隐窝检测和测量）和 ISIC（皮肤病变分类）。使用 PRISM 生成的数据训练下游模型比最接近的基线有所改进，包括 PanNuke 上的 mDice 增加了 2.3%，CeDeM 上的平均相对误差 (MRE) 减少了 8.5%，ISIC F1 增加了 5.9%。