选择性工具用于遥感中的代理变化视觉问答

改变视觉问答（Change VQA）需要理解双时态遥感图像的语义变化。尽管视觉语言模型 (VLM) 在这项任务中表现出了良好的性能，但在回答需要显式转换统计、面积测量或空间信息的问题时，它们仍然不可靠。为了解决这个限制，我们提出了一个选择性工具使用框架，其中单个 VLM 直接回答或调用确定性变化分析工具来获取问题特定的证据。具体来说，所选工具在双时态语义图上运行并返回结构化观察结果，同一 VLM 使用该观察结果生成最终答案。为了支持这个框架，我们构建了一个 CDVQA 的工具增强扩展，涵盖八个问题系列和三个用于转换、空间和时间分析的工具。工具使用监督和观察是从原始语义注释中自动得出的，无需额外的手动标记。然后，我们使用低秩适应 (LoRA) 来调整 Qwen3.5-4B，以共同学习直接回答、工具调用和证据条件回答。对 7,164 个测试题的实验表明，选择性工具使用参考语义图可将整体准确率从 73.77% 提高到 88.79%，平均家庭准确率从 69.11% 提高到 89.65%。当自动预测语义图时，该框架的总体准确率达到 77.47%，平均家庭准确率达到 75.06%。这些结果证明了特定于问题的语义证据对于 Change VQA 的好处，同时强调了语义预测质量对结果性能的影响。代码和工具增强注释将在 https://github.com/yakoubbazi/ToolChangeVQA 上公开提供。