论文
EvoStreaming:您的离线视频模型是本机流媒体助手
EvoStreaming: Your Offline Video Model Is a Natively Streaming Assistant
摘要
流媒体视频理解需要的不仅仅是观看较长的视频:助手必须决定何时实时说话,平衡响应性和冗长性。然而,大多数视频语言模型 (VideoLLM) 都是针对离线推理进行训练的,并且现有的流基准将这种时序决策具体化给评估者。我们通过 RealStreamEval 解决了这一差距,RealStreamEval 是一种帧级多轮评估协议,可将模型暴露给顺序观察并惩罚不必要的响应。在此协议下,我们观察到强大的离线 VideoLLM 保留了有用的视觉理解,但缺乏决定何时响应的交互策略。受这一观察的启发,我们提出了 EvoStreaming,这是一种自我进化的流媒体适应框架,其中基本模型本身充当数据生成器、相关性注释器和推出策略,以在没有外部监督的情况下合成流媒体轨迹。只需 $1{,}000$ 自生成样本(比领先的流式指令调优方法少 $139\times$)且没有架构更改,EvoStreaming 在五个开放 VideoLLM 主干(Qwen2/2.5/3-VL、InternVL-3.5、MiniCPM-V4.5)上持续将整体 RealStreamEval 得分提高了高达 $10.8$ 点,同时在很大程度上保留了离线视频性能。这些结果表明,数据高效的交互调整是使现有 VideoLLM 适应流媒体助手的实用途径。