SemEnrich：用于视觉语言学习的放射学报告的自我监督语义丰富

医学视觉语言数据集的大小通常有限，并且偏向阴性结果，因为临床医生大多报告异常，但可能会忽略一些阳性/中性结果，因为它们可能被认为与患者的病情无关。我们提出了一种利用报告句子语义聚类的自监督数据丰富方法。然后，我们通过以自我监督的方式添加来自不同集群的积极/中性观察结果来丰富训练集中的医疗报告中的发现。我们的方法在监督 微调 中产生了一致的增益（COMET 分数、Bert 分数、Sentence Bleu、CheXbert-F1 和 RadGraph-F1 分数的平均增益分别为 5.63%、3.04%、7.40%、5.30%、7.47%）。消融研究证实，改进源于语义聚类而不是随机增强。此外，我们引入了一种将语义聚类信息纳入 GRPO 训练的奖励设计中的方法，从而进一步提高性能（COMET 分数、Bert 分数和 Sentence Bleu 分数平均分别提高 2.78%、3.14%、12.80%）。我们在 https://github.com/igulluk/SemEnrich 分享我们的代码