论文

回声记忆:行动世界模型中记忆的对照研究

Echo-Memory: A Controlled Study of Memory in Action World Models

摘要

我们提出了 \textbf{Echo-Memory},这是一项针对动作条件世界模型中的记忆机制的对照研究。这些模型从第一帧、文本提示和相机动作序列生成多段视频,但它们的核心故障通常是内存而不是本地图像合成:在相机离开和返回后,场景或显着物体可能会悄然发生变化。现有的记忆设计很难比较,因为增益与主干、训练、检索和评估差异交织在一起。 Echo-Memory 修复了动作到视频的接口,仅改变了生成器存储和读取历史记录的方式。在共享视频扩散主干、优化器、相机动作表示、采样器和评估管道下,我们比较原始上下文、基于压缩的内存、具有不同读出路径的空间摘要以及状态空间递归。该匹配矩阵将四个其他合并轴分开:\emph{容量}、\emph{压缩}、\emph{读出}和\emph{重复率}。我们还通过三分支协议评估内存:重放质量、域内循环重访和开放域返回探测。这些分支通常存在分歧,这表明重播保真度并不足以代表记住一个世界。以下是三个发现。原始上下文是强大的容量基线,它对开放域回报的改善远远超过对重播指标的改善。紧凑性并不是容量的免费替代品:激进的空间和混合压缩记忆会失去返回所需的显着证据。最后,逐块状态空间递归是我们矩阵中最强的开放域返回机制,这表明内隐记忆的结构与使用它的决定一样重要。这些结果为研究行动世界模型中的记忆提供了一个紧凑的协议,超越了孤立的重放指标。