SciReC：具有自适应交互的多模式、多轮关系推理的诊断评估

关系推理需要感性理解、比较和整合概念之间的潜在关系的过程。这种能力由多个类别组成，例如类比、结构和因果关系，每个类别都捕获高阶理解的不同方面。为了检查多模态 大语言模型 (MLLM) 在这些关系推理任务上的性能，我们开发了 SciReC，一个模型自适应多模态学术对话基准。由于关系推理过程涉及多种表征和各种因素（视觉理解、展示知识和记忆回忆），我们提出了 DMRA，这是一种基于缺陷的诊断框架，可量化这些组件的贡献，以确定不成功案例的主要原因。 Claude 4.6 在整体关系得分上取得了最佳表现，得分为 73%，其次是 GPT 5.4，得分为 68%。性能趋势表明，开源模型在空间关系方面得分最低，而专有模型在层次关系和顺序关系方面表现较差。在各个领域中，天文学上的模型性能最低，心理学上的模型性能最高。 DMRA 的结果表明，关系推理是所有模型中错误的主要来源，其次是内存限制。