论文
MARINER:开放水域环境中细粒度感知和复杂推理的 3E 驱动基准
MARINER: A 3E-Driven Benchmark for Fine-Grained Perception and Complex Reasoning in Open-Water Environments
摘要
由于缺乏专用基准,现实开放水域环境中的细粒度视觉理解和高级推理仍未得到充分探索。我们介绍 MARINER,这是一个在新颖的实体-环境-事件 (3E) 范式下构建的综合基准测试。 MARINER 包含 16,629 张多源海事图像,包含 63 个细粒度船舶类别、多样化的恶劣环境以及 5 个典型的动态海事事件,涵盖细粒度分类、目标检测和视觉问答任务。我们对主流多模态 大语言模型 (MLLM) 进行了广泛的评估并建立了基线,结果表明即使是先进的模型也难以在复杂的海洋场景中进行细粒度的辨别和因果推理。作为专门的海事基准,MARINER 填补了海事多式联运理解的现实和认知水平评估的空白,并促进了开放水域应用的稳健视觉语言模型的未来研究。附录和补充材料可在 https://lxixim.github.io/MARINER 获取。