论文

医学成像中基于 VLM 的分布式 OOD 检测的 Wasserstein 对齐定位

Wasserstein-Aligned Localisation for VLM-Based Distributional OOD Detection in Medical Imaging

应用与实践行业应用

摘要

通过视觉语言模型 (VLM) 进行的零样本异常定位为罕见病理检测提供了一种引人注目的方法,但其性能从根本上受到缺乏健康解剖背景的限制。我们将零样本定位重新表述为一个比较推理问题,其中通过与正常解剖结构的参考分布进行结构化比较来识别异常。我们引入了 WALDO,一个基于最优传输理论的 无需训练 框架,它可以通过以下方式进行比较推理:(i)熵加权切片 Wasserstein 距离,用于从 DINOv2 补丁分布中进行解剖学感知的参考选择,(ii)利用参考相似性和定位精度之间的非单调关系进行金发姑娘区域采样,以及(iii)通过加权非极大值抑制进行自一致性聚合。我们通过分布散度从理论上分析了金发姑娘效应,并表明具有中等相似性的参考文献可以最大限度地减少比较视觉推理中的偏差-方差权衡。在 NOVA 脑部 MRI 基准测试中,采用 Qwen2.5-VL-72B 的 WALDO 实现了 $43.5_{\pm1.6}\%$ mAP@30 (95\% CI: [40.4, 46.7]),比零样本基线相对提高了 19\%。跨模型评估显示出一致的增益:GPT-4o 达到 $32.0_{\pm6.5}\%$,Qwen3-VL-32B 达到 $32.0_{\pm6.6}\%$ mAP@30。配对 McNemar 检验证实了统计显着性 ($p<0.01$)。源代码可在 https://github.com/bkainz/WALDO_MICCAI26_demo 获取。