StreamArena：迈向连续、交互式和长期代理流视频理解

在连续的现实环境中部署自主多模式代理需要它们摄取无限的视听流并维持小时级的内存。然而，目前的评估主要依赖于简短的剪辑和多项选择的形式。这种设计允许只处理最后四帧的最小基线，以匹配或超越复杂的流模型，而答案选项也公开了语言快捷方式。我们推出了 StreamArena，它是小时级交互式流媒体视频理解的基准。 StreamArena 包含 243 个平均长度为 88.8 分钟的完整视频和 3,646 个经过严格注释的开放式问答对，用于评估实时感知、历史回顾、主动交互和多模式工具利用率。跨不同系统的评估暴露了持续交互和长期多模式理解之间的紧张关系。仅保留最近帧的方法无法恢复遥远的事件，将过去的观察结果转换为文本的方法会丢失视觉证据，而反复压缩视觉记忆的方法则难以随着时间的推移保留细粒度的细节。我们通过 StreamMind 解决了这种紧张关系，这是一种两层架构，它将延迟关键型交互和主动监控分配给独立调度的前端工作人员，而后端工作人员则异步构建持久的多模式内存并执行历史调用和外部搜索。 StreamMind 在所有四种功能上都优于现有的流基线，并通过重用持久状态来减少查询到答案的延迟。