论文
利用卫星图像中答案不变的冗余进行高效的 VLM 边缘推理
Exploiting answer-invariant redundancies in satellite imagery for efficient VLM inference on edge
摘要
机载视觉语言模型可以使卫星直接回答查询，但对高分辨率图像的详尽平铺推理速度缓慢且耗能。我们确定了答案不变标记冗余（AITR）：可以在不改变最终答案的情况下删除图像块和视觉标记。我们推出了 Rift，这是一个两阶段系统，它执行查询条件切片修剪，然后进行弹性预填充以减少词元预算。我们在 Jetson AGX Orin 上运行的 LLaVA-1.5 7B 上对其进行评估。与详尽的平铺推理相比，Rift 减少了 78% 的能耗和 69% 的延迟，同时将准确性从 45% 提高到 73%。