论文
胸部 X 射线报告生成的阳性未标记偏好优化
Positive-Unlabeled Preference Optimization For Chest X-ray Report Generation
摘要
用于生成放射学报告的视觉语言模型(VLM)通常根据回顾性临床报告进行训练,这些报告会受到遗漏噪音的影响:由于遗漏了细微的发现,临床上存在的发现未被报告。例如,先前的研究表明,当成像请求集中于监测支持设备的放置时,ICU 胸部 X 光报告中可能会忽略心脏肥大。因此,使用标准方法训练的模型继承了这些遗漏,学会了少报自己的发现。我们提出了 PU-DPO,一种偏好优化框架,用于防止遗漏噪声破坏偏好信号。我们在积极未标记(PU)学习框架下重新制定目标,将缺席提及视为未标记而不是真正消极的。我们的框架使用构建的对比对提供偏好监督,这些对比对是通过编辑模型响应而生成的,产生明确提及或省略特定发现的变体。在视觉证据的背景下,生成的提及该发现的回复自然是首选。通过半合成实验和对现实世界胸部 X 光片基准(其中有判定标签)的分析,PU-DPO 在多种病理学中的检测率和隐藏阳性的恢复方面取得了一致的收益,并且比以前的方法对遗漏噪声更稳健。