ProtoCLIP：用于鲁棒零样本胸部 X 射线分类的原型对齐潜在细化

零样本视觉语言模型 (VLM) 在胸部 X 光片分类方面表现出了良好的前景，但其性能往往受到混杂标签共现、长尾类不平衡以及域转移下的转移不稳定性的限制。我们提出了 ProtoCLIP，这是一种针对 CLIP 式 VLM 的细化策略，可通过有针对性的数据管理和精炼锚点对齐来提高零样本辨别力。具体来说，我们使用精选的负样本构建以病理学为中心的训练子集，以减少共现偏差。我们还引入了保留表示的 蒸馏 目标，以稳定适应，同时保持语义结构并改善对临床相关并发病理的辨别。在未见过的数据集 VinDr-CXR 上进行评估，ProtoCLIP 在多项发现中比基于 CLIP 的强大基线将 AUC 提高了 2-10 个百分点。特别是对于气胸，ProtoCLIP 达到了 0.94 的最先进的 AUC。这些结果表明，锚引导的细化，加上精心策划的监督和受控适应，可以减轻医疗 VLM 中常见的零样本传输失败，而无需大规模再训练。