研究 VLM 中的关系推理

视觉语言模型（VLM）在视觉推理任务中表现出色，但仍不清楚它们是否理解视觉关系，或者只是采用语言线索或先验等捷径。为了研究这一点，我们使用现代 VLM Qwen3-VL-4B（Bai 等人，2025）来解码视觉信息如何跨深度编码。为此，我们提出了一个用于受控分析的简单几何形状的合成数据集，以及为精确测试语言线索而精心设计的查询。此外，数据集经过修改以测试对视觉证据的因果依赖。我们的结果表明，当前的 VLM 将真正的视觉推理与主要植根于语言线索的捷径策略结合起来。