MedUAG：医疗多模式模型的统一理解和生成

最近的多模式 大语言模型 (MLLM) 正在迅速发展为统一理解和生成 (UAG) 框架。然而，将这些统一范式扩展到医学领域受到以下因素的阻碍：缺乏全面的训练和评估基准，以及缺乏广泛验证的统一医学模型。为了弥补这些差距，我们为医疗 UAG 提供了全面的基础。首先，我们构建了 MedUAGCorpus，这是迄今为止最大的统一医学理解和生成数据集，包含 14 种成像模式的超过 600 万个实例。其次，我们引入了 MedUAGBench，这是一个系统基准，可将医学生成评估扩展到标准化协议下的 12 种不同任务。最后，利用这些资源，我们开发了 MedUAG，一种端到端训练的统一医疗模型。大量实验表明，MedUAG 在广泛的理解和生成任务中取得了优异的性能，建立了有竞争力的基线，并为下一代医疗多模式系统铺平了道路。