Brain-Adapter：用于急性颅内病变综合 3D CT 诊断的双流视觉语言 MIL 框架

3D 脑部 CT 扫描的自动诊断对于重症监护至关重要，但由于严重依赖手动注释以及传统模型的语义理解有限，该诊断仍然具有挑战性。虽然 2D 基础视觉语言模型 (VLM) 已表现出显着的通用性，但如何有效地将其表征能力转移到 3D 体积仍然是一个悬而未决的问题。在本文中，我们提出了 Brain-Adapter，这是一种新颖的双流多实例学习 (MIL) 框架，它利用预先训练的 2D 生物医学 VLM 和原始诊断报告来实现强大的扫描级多标签分类。具体来说，我们引入了文本条件注意（TCA）机制，利用原始诊断句子作为语义查询来动态地将视觉线索与特定疾病概念对齐。同时，并行视觉 MIL 流捕获全局扫描特征，并由通过 大语言模型 (LLM) 提取的结构化标签进行监督。为了确保表示的一致性，一致性约束强制两个流之间的协同作用。在推理过程中，不确定性感知细化 (UAR) 模块会动态校准和融合这些双流预测，以解决不明确的情况。大量实验表明，我们的方法明显优于最先进的 3D 模型和标准 MIL 方法。通过消除对密集注释的依赖，Brain-Adapter 为 3D 急性颅内病理分析提供了高度可扩展且临床可行的解决方案。