MetaRA：基于多模态 大语言模型 的视觉问答系统的变形鲁棒性评估

视觉问答（VQA）作为代表性的多模态任务，是评估多模态 大语言模型（MLLM）推理能力的关键基准。然而，现有的评估很大程度上依赖于静态数据集和基于准确性的指标，无法体现鲁棒性、一致性和泛化性。受变形测试 (MT) 的启发，我们提出变形鲁棒性评估 (MetaRA)，这是一种使用变形关系 (MR) 来系统地探测基于 MLLM 的 VQA 系统中的漏洞的测试框架。 MetaRA 根据特定 MR 生成图像问题输入的受控变化，并评估不同条件下的模型。将 MetaRA 应用于跨不同任务的多个基于 MLLM 的 VQA 模型，揭示了微妙的失败模式，包括对语言扰动的敏感性、对表面视觉线索的过度依赖以及多模态推理中更深层次的弱点。实验结果表明，MetaRA 提供了比传统准确度指标更丰富的诊断见解，揭示了标准基准下隐藏的故障模式。总体而言，这项工作强调了 VQA 中系统鲁棒性评估的必要性，并将变质评估定位为一种可扩展的、与模型无关的方法，以实现值得信赖的多模式人工智能。