NeSy-Route：面向遥感约束路径规划的神经符号基准

遥感是救灾和生态实地调查等重要应用的基础，在这些应用中，系统必须了解复杂的场景和约束条件并做出可靠的决策。当前的遥感基准主要集中于评估多模态大语言模型（MLLM）的感知和推理能力。他们无法评估规划能力，原因要么是大规模策划和验证规划任务的困难，要么是评估协议不准确和不充分。为了解决这些限制，我们引入了 NeSy-Route，这是一种用于遥感中约束路线规划的大规模神经符号基准。在此基准测试中，我们引入了一个自动化数据生成框架，该框架将高保真语义掩码与启发式搜索相集成，以生成具有可证明最佳解决方案的各种路线规划任务。这使得 NeSy-Route 能够全面评估 10,821 个路线规划样本的规划，比之前最大基准大了近 10 倍。此外，还开发了三级分层神经符号评估协议，以实现准确评估并同时支持对感知、推理和规划的细粒度分析。我们对各种最先进的 MLLM 的综合评估表明，现有的 MLLM 在感知和规划能力方面存在重大缺陷。我们希望 NeSy-Route 能够支持更强大的遥感 MLLM 的进一步研究和开发。