RemoteAgent：使用基于 RL 的 Agentic MLLM 连接模糊的人类意图和地球观测

地球观测（EO）系统本质上是为了支持领域专家而设计的，他们经常通过模糊的自然语言而不是精确的、机器友好的指令来表达他们的需求。根据具体的应用场景，这些模糊的查询可能需要截然不同的视觉精度水平。因此，实用的 EO AI 系统必须弥合模糊的人类查询和适当的多粒度视觉分析任务（从整体图像解释到细粒度像素预测）之间的差距。虽然多模态 大语言模型 (MLLM) 表现出强大的语义理解能力，但其基于文本的输出格式本质上不适合密集、精度关键的空间预测。现有的代理框架通过将任务委托给外部工具来解决此限制，但不加区别的工具调用在计算上效率低下，并且未充分利用 MLLM 的本机功能。为此，我们提出了 RemoteAgent，这是一个在战略上尊重 MLLM 内在能力边界的代理框架。为了使该框架能够理解真实的用户意图，我们构建了 VagueEO，一个以人为中心的指令数据集，将 EO 任务与模拟的模糊自然语言查询配对。通过利用 VagueEO 进行强化 微调，我们将 MLLM 调整为强大的认知核心，可直接解决图像和稀疏区域级任务。因此，RemoteAgent 在内部处理合适的任务，同时通过专门用于密集预测的模型上下文协议智能编排专用工具。大量实验表明，RemoteAgent 实现了强大的意图识别功能，同时在不同的 EO 任务中提供极具竞争力的性能。