论文
先总结,后下载:用于高效带宽地球观测的机载 VLM
Summarize First, Download Later: Onboard VLMs for Bandwidth-Efficient Earth Observation
摘要
现代地球观测 (EO) 卫星携带越来越先进的传感器,可产生大量高分辨率、多光谱数据,但下行链路容量仍然是一个关键瓶颈,通常会导致显着的延迟或在有限的接触窗口内丢失有价值的观测结果。我们提出了一种“先总结,后下载”的范例,该范例利用了板载边缘计算和视觉语言模型 (VLM) 的最新进展。该系统不是不加区别地下行传输原始图像,而是遵循三阶段交互协议:卫星首先传输由量化的机载 VLM 生成的简明自然语言摘要;然后,地面操作员发出有针对性的视觉问答 (VQA) 查询,以验证场景相关性(例如野火或海上异常);仅在确认关键信息后才下载全分辨率图像。这将下行链路从被动的批量传输转变为主动的、语义感知的对话。我们在资源有限的 NVIDIA Jetson 平台上实现和评估该系统,并且在不同遥感场景上进行的实验表明,所提出的策略大大降低了带宽消耗,同时加快了时间敏感任务的洞察时间。