SciMIF：理解科学领域的多模态指令遵循

理解科学领域的指令遵循能力，对于有效利用多模态大语言模型（MLLM）推动科学领域发展至关重要。在这项工作中，我们提出了SciMIF，一个旨在评估MLLM遵循复杂科学指令能力的新基准。具体而言，基于对5个代表性科学学科中22个不同任务的广泛分析，我们提出了一个包含10个约束组的综合分类体系，既捕捉一般性功能需求，也捕捉学科特有特征。在该分类体系的指导下，我们开发了一条高保真指令注入管线，以系统性地增强现有科学数据集。我们在多个最先进的闭源和开源MLLM上开展了全面实验。我们的发现揭示了不同科学学科之间显著的性能差异，其中化学对当前MLLM构成更大挑战。此外，我们观察到增大模型规模并不能带来约束遵循上的相应提升，且当前模型在细粒度约束以及需要深度应用学科知识的指令方面仍存在严重困难。SciMIF填补了当前在科学领域评估多模态指令遵循方面的空白，为未来增强MLLM在严谨科学应用中的表现奠定了关键基础。数据与代码将发布于 https://github.com/shenye7436/SciMIF。