RSure-智能体:可靠地使用工具观测进行遥感智能体
RSure-Agent: Reliable Use of Tool Observations for Remote Sensing Agents
摘要
遥感智能体依靠感知、测量和栅格分析工具来解决对地观测任务。我们将他们对地面物体的判断和定量结果称为工具观测。然而,这些观察结果存在很大的不确定性,即使工具成功执行,也可能是不正确的。当智能体接受不正确的观察结果时,错误可能会通过后续推理传播并导致任务失败。我们分析了三个遥感智能体基准测试的 1,229 个执行轨迹。在每个基准测试中,至少 88.1% 的任务依赖于工具观察。在这些任务中,尽管工具执行成功,但至少 22.7% 的任务包含错误的观察结果。在每个基准测试中,至少 82.0% 的受影响任务中这些错误会传播到最终答案。为了解决这个问题,我们提出了 RSure-智能体,一个用于验证工具观察结果和限制错误传播的框架。我们引入了一种可验证的观察协议,需要工具为智能体返回过程证据来验证其观察结果。我们还根据离线任务反馈构建了任务工具可靠性。前面总结了每种工具配置在不同任务类型中的过去性能,并为验证提供了特定于任务的参考。使用过程证据和此先验,RSure-智能体决定是否接受观察、请求额外证据或拒绝它。我们在 EarthBench、ThinkGeo、TerraLogic 和 CHOICE-420 上评估 RSure-智能体。在三个智能体基准测试中,相对于使用验证和先前禁用的基本配置,RSure-智能体将错误传播率降低了 21.3 至 25.9 个百分点。在 CHOICE-420 上,与直接回答相比,它在 11 个骨干模型模型中平均提高了 5.71 个百分点。在 EarthBench 上,相对于 Earth-智能体,工具调用率降低了 25.9%。
