ReflectWorld-MM：面向实体的开放式视频流多模态存储系统

构建能够持续观察世界、记住所见内容并根据积累的经验进行推理的助手是一个长期目标，最近配备视频流长期记忆的多模式代理引起了越来越多的兴趣。不幸的是，现有系统要么将其记忆保留在模型上下文中，要么保存在平面特征存储中，并围绕帧而不是围绕流真正涉及的持久实体进行组织，这将它们限制在有界视频中，并削弱了它们跟踪随着时间的推移重新出现的人和内容的能力。在本文中，我们提出了 ReflectWorld-MM，一种用于开放式视频流的面向实体的多模态存储系统。它由三部分组成。第一个是感知前端，它将视听流转换为有限短期记忆下的实体解析观察结果。第二个是基于人类记忆理论的分层长期记忆，它将多尺度情景记忆、不断发展的以实体为中心的语义记忆和程序记忆结合起来。第三个是完整的实现，专为实际操作而构建，可摄取任意流并插入现成的助手。在六个长视频和终身记忆基准测试中，ReflectWorld-MM 在所有六个基准上都实现了最佳准确度，优于强记忆代理和前沿模型。