图像上的文本：审核合成医学图像检测中的多模态鲁棒性

随着生成式人工智能的快速采用，合成医学图像带来的风险越来越大，包括诊断欺骗和保险欺诈。尽管之前的工作已经探索了基于视觉语言模型（VLM）的合成图像检测，但这些评估通常单独考虑图像。然而，在临床实践中，图像与结构化记录和元数据一起解释，并且 VLM 越来越多地在联合图像记录输入下部署。我们发现了一个先前未被充分检查的多模态漏洞：当给定两种模态时，VLM 可能会在真实性判断中超重记录上下文，使得同一图像仅由于其随附文本的变化而收到不同的预测。这引发了人们对实际部署稳健性的担忧。为了系统地表征这种效应，我们将合成医学图像检测重新表述为图像记录接口多模态鲁棒性的审核，并引入配对基准，在交换受控元数据变体的同时保持图像固定。在多种成像模式中，我们评估了不同的开放权重和前沿 API VLM，发现仅更改元数据上下文就可以改变真实性判断，在明确的 AI 来源标签下，真实图像的准确性平均下降 61.1%。我们进一步提出了一种推理时间缓解管道，可以在不进行模型重新训练的情况下检测和消除来源快捷方式，其性能大大优于对受影响子集的直接基于提示的抑制。我们的基准测试提供了一个标准化工具，用于评估和改进仅图像设置之外的多模式稳健性。代码和数据将在接受后发布。