论文
连接感知和行动:用于强大的地球观测代理的轻量级多模式元规划器框架
Bridging Perception and Action: A Lightweight Multimodal Meta-Planner Framework for Robust Earth Observation Agents
摘要
自主地球观测(EO)代理正在从被动感知过渡到复杂的多步骤任务执行。然而,当前将规划和执行集成到单个模型中的架构通常会遇到动态 EO 场景中的组合复杂性和推理错误。为了解决这些挑战,我们提出了轻量级多模态元规划器(LMMP)框架。 LMMP 结合了双重意识机制,该机制以多模态图像特征和高级任务语义为基础的战略计划。至关重要的是,我们引入了元任务库,将遥感专家知识直接注入到工作流程中,从而标准化了领域逻辑并确保计划在物理上可行。我们进一步实现了一个两阶段的训练管道,通过专家提炼的监督 微调 初始化元规划器,并通过基于执行反馈的直接偏好优化对其进行细化。对来自 EarthBench 和 ThinkGeo 的数据集进行的大量实验表明,LMMP 显着提高了工具调用准确性和任务成功率。此外,该框架表现出强大的“即插即用”多功能性,在以前未见过的 EO 任务中持续增强不同执行器骨干的性能。