论文
WildFireVQA:用于空中野火监测的大规模辐射热 VQA 基准
WildFireVQA: A Large-Scale Radiometric Thermal VQA Benchmark for Aerial Wildfire Monitoring
摘要
野火监测需要机载平台提供及时、可操作的态势感知,但现有的空中视觉问答 (VQA) 基准无法评估基于热测量的野火特定多模态推理。我们推出 WildFireVQA,这是一种用于空中野火监测的大规模 VQA 基准,它将 RGB 图像与辐射热数据集成在一起。 WildFireVQA 包含 6,097 个 RGB 热样本,其中每个样本包括 RGB 图像、彩色映射热可视化和辐射热 TIFF,并与 34 个问题配对,总共产生 207,298 个多项选择问题,涵盖存在和检测、分类、分布和分割、定位和方向、跨模式推理以及作战野火情报的飞行计划。为了提高注释可靠性,我们将基于多模式 大语言模型 (MLLM) 的答案生成与传感器驱动的确定性标记、手动验证以及帧内和帧间一致性检查相结合。我们进一步使用辐射热统计在 RGB、热和检索增强设置下为代表性 MLLM 建立了全面的评估协议。实验表明,在各种任务类别中,RGB 仍然是当前模型的最强模态,而检索到的热环境可以为更强大的 MLLM 带来收益,凸显了基于温度的推理的价值以及现有 MLLM 在安全关键型野火场景中的局限性。数据集和基准代码在 https://github.com/mobiiin/WildFire_VQA 上开源。