论文

StreamAV-Bench:流式音频视频生成的综合基准

StreamAV-Bench: A Comprehensive Benchmark for Streaming Audio-Video Generation

模型评测基准与评测资源

摘要

生成模型的最新进展正在推动视频生成朝着实时交互世界的无限制流媒体音频视频生成方向发展。然而,现有的基准测试主要评估完整的序列并难以捕获流媒体属性。为了弥补这一差距,我们推出了 StreamAV-Bench,这是第一个专为流媒体音频视频生成量身定制的综合基准测试。 StreamAV-Bench建立了统一的评估框架,包括指令依从性和长期稳定性的渐进轨道,以及交互式响应和状态保留和重用的交互轨道。通过32个细粒度维度的专家验证评估案例,我们对13个代表性系统进行了广泛的评估。我们的分析表明,当前模型在渐进生成中存在时间漂移,在交互控制过程中存在响应瓶颈。基于全面的故障分析,我们分享见解以推进原生联合音视频流模型的开发。