HarMoE：与数据集解开的专家进行多源胸部 X 光片预训练

最近用于理解胸部 X 光的视觉语言模型主要建立在图像报告对齐的基础上，因此严重依赖 MIMIC-CXR 作为主要的预训练源。虽然在规模上有效，但这种范式没有充分探索一个重要的替代监督来源：一系列现有的多标签分类数据集，它们提供比自由文本报告更清晰、更明确的疾病信号，并且在跨来源组合时可以提供更广泛的病理覆盖范围。然而，从此类异构数据集中学习并非易事，因为标签本体、注释协议、采集管道和报告样式的差异可能会导致模型将临床语义与数据集身份纠缠在一起，从而导致尽管规模增加但传输效果不佳。在这项工作中，我们从协调多源学习的角度重新审视放射学 VLM 的构建。我们提出了 HarMoE，一个数据集感知的专家混合框架，它学习共享的跨数据集医学语义，同时将源特定的变化限制在更深的解码器层中的轻量级残差专家。为了进一步利用标记数据集的清洁监督，我们在统一的疾病词汇表中进行了屏蔽多数据集监督的训练，使模型能够利用补充注释而不会引入假阴性。大规模胸部 X 射线基准测试表明，HarMoE 持续改进了零样本分类、分布外传输以及强基线基础。我们的结果表明，构建强大的放射学 VLM 需要超越单源图像报告对齐，转向从异构数据集构建结构化知识，并具有更清晰的监督和更广泛的覆盖范围。代码和 873k 协调数据集将在 https://github.com/Roypic/harmoe 发布。