论文

野火监测的仿真接地智能体VLM框架

A Simulation-Grounded Agentic VLM Framework for Wildfire Monitoring and Reporting

应用与实践行业应用

摘要

有效野火监测需要把视觉证据与物理火行为关联,但带同步物理标注的真实视频稀缺,高保真3D仿真成本高。我们提出仿真接地的VLM框架,自动把2D野火仿真转换为带标注的视频片段:固定Blender映射产生与仿真地形、燃料布局、火活动及风场线索对齐的低细节3D代理;可控视频生成补充更丰富的外观。代理是中间表示而非精细最终场景。生成的视频与仿真标签构成可复用多模态记忆,供免训练多智能体VLM系统检索参考片段、调和视觉与基于记忆的预测,并产出结构化野火报告。在留出生成片段上,视频记忆达到51.5%的精确四标签准确率,直接VLM查询为22.6%,纯文本记忆16-17%;完整系统在六个仿真衍生报告字段上准确率77.3%。组件消融、跨生成器测试与三次真机无人机评估考察了检索、报告、生成器更换与可观测监测任务。该框架在真实物理标注稀缺下连接了自动仿真-代理转换与基于记忆的VLM推理。