论文
开放权重MLLM对未识别结构的简单视觉比较可能失效
Open-Weight MLLMs Cannot Compare What They Cannot Name
摘要
多模态大语言模型（MLLMs）越来越能够理解图像并执行复杂的视觉推理，这表明使用它们来自动化生物图像分析的可能性。随着技术的进步不断产生更大、更多样化的显微镜数据集，这种需求变得越来越紧迫，已经超出了手动视觉分析可行的规模。最终目标是使用 MLLMs 进行复杂表型的视觉比较，我们研究了一个非常简单的基线：比较蚂蚁合成图像中身体部位的大小。我们发现最先进的开放权重 MLLMs 对于某些身体部位来说是失败的，但对于其他部位则不然，尽管比较本身对于所有身体部位来说在视觉上都是微不足道的。我们评估不同的上下文学习策略并分析相关对象识别任务的性能。我们的结果表明由识别问题引起的视觉落地失败：模型无法识别的结构反而与可识别的语义概念相关联，从而损害了对这两者的视觉定位与比较。对视觉编码器的进一步分析与这样的假设是一致的：如果没有语义支持，细粒度视觉结构可能无法得到很好的保存。总之，我们的结果揭示了当前 MLLMs 的一个令人惊讶的局限性：语义识别会成为简单视觉比较的门槛，而这些比较本质上不需要语义理解。我们的代码和数据可在 https://github.com/kreshuklab/Open-Weight-MLLMs-Cannot-Compare-What-They-Cannot-Name 获取
