沙丘社区
论文

MM-IFEval-Pro：一个多语言且抗攻击的视觉-语言模型指令遵循基准

MM-IFEval-Pro: A Multilingual and Attack-Resistant Benchmark for Instruction-Following in Vision-Language Models

Changming Xiao , Zhenliang Ni , Jinhui He , Han Shu , Jie Hu
模型评测基准与评测资源

摘要

随着视觉语言模型（VLM）在图像理解、跨模态推理和复杂指令执行方面的快速发展，指令跟踪能力已成为其可靠性和实用性的关键指标。然而，现有的多模态指令跟踪基准仍然受到有限的语言覆盖和不足的对抗性安全场景的影响，使得它们不足以评估现实世界的多语言和安全敏感设置。为了解决这些差距，我们推出了 MM-IFEval-Pro，这是一个多模态指令跟踪基准，涵盖中文和英文任务以及各种指令劫持案例。 MM-IFEval-Pro包括4个主要任务类别和24个子类别以及8个指令类别和52个子类别，每个样本平均包含3.0个约束，以真实模拟复杂的指令场景。我们进一步构建了一个富含中文和对抗性指令的强化学习训练集，显着提高了 MM-IFEval-Pro 上的模型性能，并有效地迁移到其他主流多模态基准，表现出强大的跨任务和跨语言泛化能力。

MM-IFEval-Pro：一个多语言且抗攻击的视觉-语言模型指令遵循基准：论文配图
图 1.(a) 现有多模态指令跟随 (IF) 基准在覆盖范围、验证可靠性和对视觉指令劫持的鲁棒性方面的局限性。 (b) MM-IFEval-Pro RLVR 训练语料库概述，它提供了更广泛的任务和约束双语覆盖，每个约束实现为用于奖励计算的基于规则的验证函数。 (c) 相应的评估基准支持多约束评估，通过一个工作示例进行说明，其中每个约束都被确定性地检查。