PLRS-IC：胸部 X 射线视觉语言对齐的双重校准框架

胸部放射成像中的细粒度视觉语言对齐可实现零样本分类、基础和分割，而无需特定于任务的注释。然而，这种一致性从根本上受到两个相互交织的歧义来源的阻碍：投影引起的视觉不匹配和与患者无关的语义重叠。首先，在局部特征级别，正面和侧面放射照片对于相同的临床发现表现出不同的外观，使得共享的补丁文本相似性几何形状本质上不是最佳的。全局对比优化期间的语义不匹配加剧了这种视觉模糊性，其中实例级目标将跨患者对作为严格的阴性进行惩罚，即使它们共享相同的积极临床概念。为了解决这种双重模糊性，我们提出了 PLRS-IC，这是一种用于胸部 X 射线表示学习的统一双校准框架。在局部对齐阶段，投影条件低秩残差相似度 (PLRS) 使用有界、参数高效的低秩残差动态地将补丁文本匹配调整为特定于投影的流形。在全局优化阶段，信息内容校准软假阴性抑制（IC-SFNS）利用语料库派生的信息理论，在不改变原始对比分配的情况下减轻语义重叠否定的惩罚。跨越九个公共零样本基准设置的广泛实验表明，我们的框架在分类、基础和分割方面产生了一致的改进，验证了医学视觉语言预训练中双重校准的必要性。