论文

SMI:世界模型的理解驱动空间记忆

Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory

摘要

长视频生成与世界模型通过以用户动作和历史记忆为条件预测未来观测,在交互娱乐与具身仿真上展现强大潜力。但随着记忆序列增长、结构日益复杂,管理长程空间上下文的挑战加大,呼唤更智能、系统的记忆管理策略。基于多模态大语言模型(MLLM)不断进步的空间推理能力与统一模型的更宏观愿景,我们提出空间记忆智能(SMI)——首个在长视频世界模型中系统性使用理解模型进行空间记忆管理的框架。SMI引入四个协同的原子操作:空间聚类、簇内稀疏化、动作感知检索与可靠性感知过滤。跨多基线、多基准与多世界模型骨干的大量实验证明了SMII的有效性与可泛化性,在记忆稀疏度、生成稳定性与空间一致性上取得全面改进。