临床视觉语言模型中的跨模式关联风险

在配对胸部 X 光照片和放射学报告上训练的视觉语言模型 (VLM) 学习可以保留实例级图像报告对应关系的共享嵌入空间。这在射线照片和报告在采集后故意分开的环境中（例如仅图像数据共享或访问控制报告）带来了隐私风险，因为去识别化图像可能仅通过余弦相似性重新链接到其原始叙述报告。我们将其形式化为图像到报告检索，并使用公共配对队列，其中真正的配对是通过设计而知道的，作为审计风险的 真值 基准，而不是作为隐私场景。通过评估 MIMIC-CXR（43,793 对保留对）和外部 CheXpert Plus（29,296 对）中 126,804 名患者的 406,241 配对示例中临床专业化不断增加的 VLM，我们发现重新关联随着专业化而系统性地上升：最强的 VLM 在 N = 100 的候选池中以 15 倍的机会检索到正确的报告，在 N = 100 的候选池中以 50 倍的机会检索到正确的报告。 10,000，远高于全数据库规模的概率。该信号在病理匹配的硬阴性条件下持续存在，消除了疾病标签的捷径，表明超出了广泛的诊断类别的对应性。为了在不重新训练的情况下减少它，我们冻结了两个编码器，并仅对定义对齐层的投影头应用差分私有优化（epsilon = 0.34，delta = 6x10-6）。这将 MIMIC-CXR 上 N = 10,000 时的 Recall@1 降低了 61.8%，并在无需重新训练的情况下转移到 CheXpert Plus，而图像端实用性基本上得到保留：跨 14 个标签的线性探针分类的宏 AUROC 仅从 79.63% 转变为 79.43%。对共享对齐层进行有针对性的 DP 微调可以显着减少跨模态重新链接，而不会显着降低使这些模型在临床上有用的图像表示。