CoVStream：边缘-云协作以理解长视频流

长而连续的视频流是多媒体智能日益重要的驱动力。现有的工作通常使用大型模型通过样本编码推理方法来处理长视频。然而，他们忽略了一个关键的部署事实：流通常是由计算受限的设备产生的。这迫使我们做出难以维持的妥协：云卸载解锁了强大的推理能力，但会产生过高的带宽开销，而设备上的处理仍然受到边缘硬件容量的限制。因此，我们提出了 CoVStream，这是第一个用于理解长视频流的边云协作框架。边缘节点将原始视频流提取为紧凑的视觉特征和语义描述，以便传输到云端，从而最大限度地降低带宽成本，而云服务器则将这些数据集成到实体图和全局视觉上下文中，仅在用户查询到达时才激活重型推理模型。在 VideoMME-Long、LVBench 和 RTV-Bench 上的实验表明，CoVStream 将带宽使用率降低了 87.6%，同时在 LVBench 上保留了 99.2% 的云基线精度。