论文
视觉推理基准:评估小学教育课堂真实视觉问题的多模态 LLM
Visual Reasoning Benchmark: Evaluating Multimodal LLMs on Classroom-Authentic Visual Problems from Primary Education
摘要
AI模型在文本推理方面取得了最先进的成果;然而,他们对空间和关系结构的推理能力仍然是一个关键瓶颈——尤其是在严重依赖视觉的低年级数学中。本文介绍了视觉推理基准 (VRB),这是一个新颖的数据集,旨在评估多模态 大语言模型 (MLLM) 在课堂上解决真实视觉问题的能力。该基准基于来自赞比亚和印度小学考试的 701 道题,涵盖类比推理、模式完成和空间匹配等一系列任务。我们概述了基准的方法和开发,有意使用未经编辑的、最少文本的图像来测试模型是否能够满足初等教育的现实需求。我们的研究结果揭示了能力的“锯齿状边界”,其中模型在计数和缩放等静态技能方面表现出更好的熟练程度,但在面对折叠、反射和旋转等动态操作时达到了明显的“空间天花板”。这些弱点给课堂上视觉推理问题的使用带来了风险,可能会出现错误的评分、错误的支架和强化学生的误解。因此,像 VRB 这样以教育为中心的基准对于确定课堂中使用的多模式工具的功能边界至关重要。