用于生成放射学报告的同质语义对齐和分层专家路由

放射报告生成（RRG）旨在将医学图像转换为诊断文本，以协助临床决策并减轻医生的工作量。尽管现有方法在跨模态交互和外部先验的融合方面取得了广泛进展，但底层表示的分布变化和异构信息的无差别刚性耦合导致弱视觉异常线索很容易被大量文本先验和解码过程中的生成惯性所稀释。为了克服这一瓶颈，受认知科学的启发，我们提出了一种新颖的两阶段同质语义对齐和分层专家路由（HSA-HER）框架。首先，该模型在底层潜空间中引入了显式的同质分布约束，以有效消除视觉和文本特征之间的跨模态分布偏移，从而提取纯化的视觉特征作为与疾病准确对齐的语义锚。其次，对于由视觉特征、局部实体和全局检索组成的异质临床证据，我们设计了由这些疾病语义锚引导的分层专家路由机制。该机制放弃了无差别的刚性耦合范式。具体来说，它动态激活专家网络对多源证据进行有针对性的挖掘和语义重建，并自适应分配融合权重。对三个主流基准数据集的大量实验表明，HSA-HER 实现了最先进的性能，准确地描绘了复杂的成像细节和关键诊断信息。