DIM-WAM：具有多样化历史事件记忆的世界动作建模

世界动作模型通过联合预测未来的视觉状态和动作，显示出有前途的机器人操纵性能。然而，现有的方法主要依赖于短期历史和短期未来预测，这对于长期任务来说是不够的，长期任务的正确执行取决于早期的观察和任务进展。这种时间相关的任务需要有效利用补充时间信息，包括最近的本地背景、跨阶段的历史事件、近期的动态和全局任务进展。为了解决长期遗忘和对全局任务状态的认识不足的问题，我们引入了 DiM-WAM，这是一种记忆增强的世界行动模型，集成了多尺度历史背景、局部未来动态和全局任务进展。存储器从真实观察中提取紧凑的视觉事件信息，通过独立的基于相似性的合并更新多个存储库，然后读取存储库身份和时间嵌入的长期上下文来调节视频和动作去噪。进度监督目标进一步鼓励记忆标记不仅对已完成的历史事件进行编码，而且对当前任务阶段及其对剩余任务的影响进行编码。在 RMBench 上，DiM-WAM 将 LingBot-VA 的平均成功率从 28.4% 提高到 69.8%，超过了显式内存 Mem-0 基线的 42.0%。在四项现实世界的 Franka 任务中，它将平均阶段成功率从 70.7% 提高到 91.5%，将完整任务成功率从 52.5% 提高到 80.0%。项目页面：https://wangkai-casia.github.io/dim-wam。