论文
CABLE:适用于 V2X 系统的云辅助带宽高效、基于 LMM 的编码
CABLE: Cloud-Assisted Bandwidth-efficient LMM-based Encoding for V2X Systems
摘要
云托管的大型多模态模型 (LMM) 可以为车辆到一切系统提供强大的开放词汇感知,但天真地将全分辨率帧从边缘传输到云端会导致严重的通信开销和较高的云端预填充延迟。我们提出了 CABLE,一种用于边缘云感知的基于 LMM 的云辅助带宽高效编码框架。 CABLE 使用自我运动补偿在边缘传播先前的云分割掩模,使用残余运动线索对其进行细化,并通过走廊包络合并断开的区域以形成稳健的感兴趣区域 (ROI)。仅上传 ROI 掩模图像,而云分割输出作为下一帧的先验反馈,形成掩模到 ROI 到 LMM 的反馈循环。在五个数据集(nuScenes、WOD-ZB、Waymo、KITTI 和 CADC)上进行的实验显示,在很大程度上保持感知的同时,一致地节省了通信成本,相对于全帧推理,在适度的检测质量权衡下,实现了 73$--$87\%$ ROI 像素覆盖率降低,以及 $5$--$8\times$ 估计的 LMM 预填充加速。