通过多分辨率熵估计进行零样本 OOD 检测的 VLM 层选择

分布外 (OOD) 检测对于医疗 AI 系统的安全部署至关重要，其中跨机构、采集协议和患者群体会出现领域转移。 VLM 通过将图像嵌入到语言对齐的潜在空间中来实现零样本 OOD 检测，其中跨模态相似性充当用于识别分布内样本的非参数置信信号。然而现有的方法几乎完全依赖于最后一层嵌入，隐含地假设最深的表示是普遍最优的。我们首先证明这一假设在医学成像中并不成立：中间层提供互补的 OOD 信号，并且最佳表示深度取决于相应的图像模态。虽然之前的工作通过标准化直方图的熵最小化来选择层组合，但我们证明单分辨率熵估计对分箱选择高度敏感，导致性能变化高达 19.3% AUROC。为了解决这种不稳定性，我们提出了一种多分辨率熵估计策略，该策略聚合多个离散尺度的直方图统计数据，从而实现稳健且稳定的中间层选择。在两个医疗 OOD 基准（即 MIDOG 和 OASIS）中，涵盖不同的成像模式、不同的移位类型和不同的 VLM 主干，我们的方法始终优于最先进的方法，为零样本 OOD 检测提供轻量级且稳定的解决方案。