CRAFT：医学图像合成的临床奖励调整微调

基础扩散模型可以生成逼真的自然图像，但将其适应医学成像仍然具有挑战性。在医学适应中，有限的标记数据可能会加剧类似幻觉和临床上不可信的合成，而现有的指标（例如 FID 或 Inception Score）不能量化每个图像与病理学相关标准的对齐情况。我们引入了临床对齐评分 (CAS)，这是一种基于基础模型的临床对齐代理，可沿着视觉保真度之外的四个互补维度评估生成的图像。在 CAS 的基础上，我们提出了临床奖励调整微调 (CRAFT)，这是一种基于奖励的适应框架，通过标签条件提示丰富、临床检查表和可微奖励优化，从多模态 大语言模型 和视觉语言模型中转移医学知识。通过四种不同的模式，CRAFT 在强大的适应基线上提高了 CAS 和下游分类性能。除了平均 CAS 增益之外，CRAFT 相对于最强基线，将经验低对齐尾部降低到低于真实图像参考阈值 5.5-34.7%，相当于整个数据集平均相对减少 20.4%。这些结果表明，在 CAS 下，类似幻觉的一代较少，并得到了家庭外评估者评估、结构化检查表审核、记忆分析和 CheXpert 上的盲法医生偏好研究的证实。