X-Stream：探索 MLLM 作为多路复用器以实现多流理解

虽然视频流理解已取得重大进展，但体育直播、自动驾驶和多屏协作等现实世界的应用本质上需要连续的多流交互。然而，现有的基准仅限于单流范例，在评估在线跨流推理方面留下了关键差距。为了解决这个问题，我们引入了 X-Stream，这是第一个致力于多流流理解的基准测试。 X-Stream 包含 932 个视频中的 4,220 个经过严格策划的 QA 对，可跨多窗口、多视图和多设备场景评估 11 个子任务。至关重要的是，我们的数据集是使用新颖的双重验证管道构建的，可以防止过度依赖单个流。此外，我们率先将多模态 大语言模型 (MLLM) 概念化为简单的多路复用器，通过信号多路复用理论的视角系统地评估其性能。我们广泛的在线推理实验揭示了一个严峻的现实：最先进的 MLLM 在并发流方面表现不佳，仅获得约 50% 的分数，并且表现出较差的主动能力。最终，X-Stream 揭示了当前多路复用方案的权衡，为下一代多流代理提供了实用的评估协议和经验指导。