论文
DecMem:通过解耦内存实现一分钟一致的世界生成
DecMem: Towards Minute-Long Consistent World Generation with Decoupled Memory
摘要
视频生成模型的最新进展推动了可控世界模型的快速进展。然而,在长视野推理下保持细粒度的时空一致性仍然是一个关键挑战。在这项工作中,我们超越了显式 3D 内存和粗略的帧级隐式建模,并提出了一种细粒度、可学习且可扩展的内存,用于一致的世界生成。我们首先确定了长视野外推中朴素可学习记忆架构的两个基本限制,即计算效率低下和注意力分散。通过对注意力分散的系统分析,我们提出了 DecMem,一种解耦的内存架构,它采用稀疏全局内存来有效地细粒度访问全局历史,并使用锚定本地内存来进行稳定和高质量的外推。大量实验表明 DecMem 的性能明显优于当前最先进的方法。通过确保精确高效的长期记忆并实现卓越的外推能力,DecMem 能够实现分钟级可控的高保真度和一致性的长视频生成。