GTA-Net：胸部 X 光报告生成中视觉语言对齐的合作博弈论

自动生成胸部 X 射线报告需要精确的跨模态证据对应，以确保临床上可靠的描述。然而，现有的视觉语言模型依赖于隐式注意机制，无法强制执行明确的区域词对应和疾病级别的一致性。我们提出了博弈论对齐网络（GTA-Net），这是一种视觉语言框架，它将报告生成制定为合作博弈论对齐问题。该模型引入了 BinaryGameAligner，它使用基于相似性的收益矩阵和受 Shapley 启发的重要性加权来对图像区域和文本标记之间的交互进行建模。为了加强临床语义，我们进一步开发了一种疾病感知三元对准器，它捕获图像、报告和结构化疾病概念之间的联合交互。 GTA-Net 将基于 Swin 的视觉编码器与适应 LoRA 的 大语言模型 相结合，并使用统一的生成和对齐目标进行训练。 CheXpertPlus 和 IU-XRay 上的实验展示了标准生成指标的最先进性能，并提高了临床一致性，突出了显式博弈论对齐对于医学视觉语言生成的有效性。