减少临床转变下医学视觉语言模型中的类尾覆盖不足
Mitigating Class-Tail Undercoverage in Medical Vision-Language Models under Clinical Shift
摘要
医学视觉语言模型 (VLM) 可以在临床转移后保持较高的观察到的边缘覆盖率，同时大大覆盖单个疾病类别。受影响的类别随采集协议和主干几何结构的不同而变化，因此源流行率并不能可靠地揭示故障。现有的局部和尾部感知共形方法分别适应测试邻域和源频率尾部，使保留的类覆盖失败未建模。我们引入了 Class-Tail 自适应局部适形延迟 (CALCoDe)，这是用于冷冻医疗 VLM 的事后可靠性层。交叉拟合的验证预测可识别存在覆盖不足风险的类别，并且不相交的校准分割可估计其类别条件尾部阈值。 CALCoDe 使用单侧最大值将每个受保护阈值与局部共形阈值结合起来。结果集包含本地化规则承认的每个标签，并且附加保护仅限于验证识别的类。独立校准的支持审计会推迟内部支持不足的案例。在每个受保护类内接受的示例之间的可交换性下，CALCoDe 在预先指定的保护级别上提供有限样本覆盖，并包含相应的局部共形集；对转移的外部队列的覆盖率进行了实证评估。在两个皮肤科转变（HAM10000 到 ISIC 2019 和 HAM10000 到 PAD-UFES-20）和四个冻结 VLM 主干（BiomedCLIP、OpenAI CLIP ViT-B/32、PubMedCLIP ViT-B/32 和 MedSigLIP-448）评估的标准适形基线和最近的 VLM 特定适形方法中，CALCoDe 是唯一的方法观察到的边缘和最差等级接受覆盖率在所有八个设置中均达到 0.95。在 HAM10000 至 ISIC 2019 上，其平均最差级别接受覆盖率为 0.970，而 sTACP 为 0.926，LCP-VLM 为 0.864。