MedProb：探索医学问答视觉语言模型的内部表示

医学视觉问答 (Med-VQA) 通常被认为需要医学 微调、大型模型或复杂的多智能体管道。我们用 \textbf{MedProb} 重新审视这个假设，这是一个轻量级的探测框架，可以从冻结的 VLM 表示中预测多项选择的 Med-VQA 答案，而无需生成自由文本。在 PATH-VQA、SLAKE 和 VQA-RAD 中，MedProb 比提示恢复了更多的答案相关信号，并且比医疗 VLM 和代理系统表现更强。与提示相比，探测还减少了小模型和大模型之间的明显差距，这表明较小的 VLM 包含比基于生成的评估显示的更多可恢复的 Med-VQA 信号。在 14 个匹配的通用和医疗 VLM 对中，医疗适应并不能始终如一地提高这种线性解码能力。最后，自由文本生成表现出高达 10 个百分点的答案位置偏差，而 MedProb 也存在位置偏差，但其受到的影响与提示不同。我们的主要结果针对多项选择/多类 Med-VQA 设置；我们还表明，该探针可以通过拒绝采样评分程序扩展到开放式生成。