扩散世界模型记忆专家的组成

世界模型旨在预测与过去观察一致的合理未来，这是强化学习中规划和决策的核心能力。然而，现有架构面临着基本的内存权衡：Transformer 保留了局部细节，但受到二次注意力的瓶颈，而循环模型和状态空间模型的扩展效率更高，但以保真度为代价压缩历史记录。为了克服这种权衡，我们建议将未来与过去的一致性与任何单一架构解耦，而是利用一组专业专家。我们引入了一种基于扩散的框架，该框架通过对比的专家乘积公式集成了异构内存模型。我们的方法实例化了三个互补的角色：捕捉精细局部动态的短期记忆专家，通过轻量级测试时间微调将情景历史存储在外部扩散权重中的长期记忆专家，以及强制几何和空间一致性的空间长期记忆专家。这种组合设计避免了模式崩溃并扩展到长上下文，而不会产生二次成本。在模拟和现实世界基准中，我们的方法提高了时间一致性、过去观察的回忆和导航性能，为构建和操作记忆增强扩散世界模型建立了一种新颖的范例。