使用 大语言模型 生成放射学报告的图形监督分层临床对齐

放射报告生成（RRG）最近受益于大语言模型，它大大提高了报告的流畅性。然而，临床忠实的生成仍然具有挑战性，因为目前的监督仍然主要在报告层面进行。这造成了粒度不匹配：放射学报告由基于疾病的发现组成，而现有方法主要根据整个报告目标进行训练。为了解决这个问题，我们提出了图监督分层临床对齐，它将图像报告监督重新表述为分层临床对齐问题。我们的方法将这种对齐构建为一个以疾病为条件的过程，其中监督被分解为两个级别：以疾病为中心的对齐，用于细粒度的疾病特定对应，以及全局临床语义对齐，用于报告级别的语义一致性。临床知识图用作仅训练时间的结构先验，定义特定疾病的监督单元及其临床关系，不会在推理时引入额外的开销。由于当研究共享重叠的病理学时，标准对比对齐可能会产生假阴性，因此我们将实例条件的判别匹配与疾病条件的软正则化相结合，从而实现细粒度但临床一致的跨模式表示。 MIMIC-CXR、IU-Xray 和 COV-CTR 上的实验表明，我们的方法持续提高了传统指标和临床指标的性能。值得注意的是，我们的 3B 模型超越了几个具有更大 7B/13B 主干的先前系统，这表明改进监督结构而不是增加模型大小对于 RRG 来说可能更有效。