用于生成放射学报告的高效多粒度知识传输

放射学报告生成可以自动从X射线图像生成临床描述，从而显着提高放射科医生的效率。这项任务具有挑战性，因为它需要医学知识来准确识别疾病并以专业的方式描述它们。然而，现有的方法往往忽视了增强医学知识在描述关键领域的重要性，这种能力需要模型在多个粒度级别上有效地提取和聚合知识。因此，我们在此提出了一种新颖且紧凑的高效多粒度知识转移（\textbf{EMGKT}）方法来解决上述问题。首先，我们使用医学视觉语言模型对全局知识嵌入进行编码，该模型提供上下文医学知识。此外，我们设计了一种新颖的细粒度知识蒸馏（FGKD）训练任务，可以有效地提取细粒度知识。具体来说，FGKD 训练任务包含教师嵌入和学生嵌入。教师嵌入使用额外的先验进行编码；当学生时 嵌入是通过知识蒸馏从教师嵌入中学习到的。在推理过程中，学生嵌入用于增强细粒度知识，而教师嵌入被丢弃，从而导致计算成本可以忽略不计，并且不需要额外的先验。最后，我们进一步开发了疾病诊断专家分类器的混合体，以增强知识提取。分类器使用疾病嵌入进行初始化，并建模为不同的专家来处理各种粒度特征。值得注意的是， \textbf{EMGKT} 可以有效地应用于大多数现有方法。在两个广泛使用的公共数据集和各种基线上进行了大量的实验，证明了 \textbf{EMGKT} 的有效性和可移植性。