HiMem-WAM：用于机器人操作的分层内存门控世界动作模型

世界行动模型（WAM）已成为体现智能的新强大范式，学习与行动相关的视觉动态，可显着增强泛化性和鲁棒性。然而，现有的 WAM 仍然难以解决长视距机器人操作中的任务相关记忆问题。为了解决这个问题，我们提出了 HiMem-WAM，这是一种分层内存门控 WAM，集成了以运动为中心的潜在动作、高级技能潜在和边界触发的内存更新。具体来说，我们开发了一个分层潜在动作框架，共同学习底层运动和高级技能潜在，提供结构化的时间抽象。同时，边界感知内存门在预测的技能转换时写入紧凑的任务状态，从而无需在测试时生成未来视频或光流估计即可进行因果推理。在 LIBERO、LIBERO-PLUS、RMBench 和实际任务上进行评估后，HiMem-WAM 表明分层潜在模型提高了部署扰动下的鲁棒性，并且内存模块大大有利于依赖于内存的长范围操作。