论文

EGOSTREAM:自我中心视觉中流式情景记忆的诊断基准

EGOSTREAM: A Diagnostic Benchmark for Streaming Episodic Memory in Egocentric Vision

模型评测基准与评测资源

摘要

连续情景记忆是在动态的现实环境中运行的自主代理的核心功能,但当前的流视频基准测试提供的工具有限,无法诊断模型记住什么以及记住多长时间。我们推出了 Egostream,这是一种用于在自我中心视觉中流式情景记忆评估的诊断基准。 \egostream 沿着七个认知维度组织了 2,250 个精选问题:细节、空间、时间、事件、社会、因果和前瞻性记忆。我们引入了答案有效性窗口(AVW),它指定了随着观察到的场景的发展,答案保持有效的时间跨度。这使我们能够将问题扩展到 8,528 个回忆条件评估,从而实现从即时回忆到超长期回忆的受控测试,同时将真正的模型遗忘与自然世界状态变化分开。我们通过统一的流式 MLLM 框架严格建立基准性能,该框架比较了几种最先进的内存管理机制,包括滑动窗口、注意力接收器、KV 缓存修剪、合并和卸载。在统一的 Qwen3-VL 主干内进行的实验表明,可比的聚合精度掩盖了截然不同的内存配置文件。例如,词元修剪可以比词元合并更好地保留细粒度的细节和时间结构,而量化卸载可以挽救超长期召回。最终,所有机制的运行速度都远低于实时(>每帧 1 秒),并且性能最佳的方法的准确度约为 45%,暴露了当前架构中的关键差距。 Egostream 提供了弥补这些差距所需的诊断测试平台。项目网站、新闻和更新:https://saroo25.github.io/Egostream/