ModaLens：测量报告条件的医疗 VLM 中的图像灵敏度

放射学报告已经可以回答临床问题，因此很难判断视觉语言模型是否也使用该图像。 ModaLens 是一种配对图像交换审核，可测量报告可用性如何改变图像敏感性：MedGemma-27B 对来自 293 名患者的 3,199 个配对 MIMIC-CXR 病例进行了研究，每个病例全部 14 个问题（13 个特定发现和一个合成问题），每张图像替换为来自另一项研究的图像，通常来自同一患者，问题和报告已修复。在明确的答案指令下，模型生成的答案在有报告的试验中发生了 4.26% 的变化，在没有报告的试验中发生了 20.94% 的变化，成对增加了 16.7 个点（患者聚类 95% CI 15.6 至 17.7），因此报告可用性降低了该协议下的图像交换敏感性；带有小写第一个标记读数的原始提示给出了 4.70% 相对于 17.07%，并且替换也会移动连续答案分数，而二进制预测不会改变。标签源自报告，这限制了有关视觉正确性的结论；该方向在另外两个模型谱系中复制。每个数字的代码、确切提示和运行记录位于 https://github.com/riticaldata/MODALENS。