CogWAM：通过事件驱动接口将语义认知与世界动作建模结合起来

机器人策略越来越多地融入语义推理和未来世界预测，但结合这些功能并不能保证本地预测和行动与任务进度保持一致。我们引入了 CogWAM，一种认知引导的世界动作模型，它通过持久的语义状态在任务推理和世界动作学习之间建立了明确的语义接口，该状态存储已完成的任务事件和活动子任务。 CogWAM 仅当观察表明语义转换时才更新此状态，从而允许任务级上下文在多个操作块中持续存在。为了将语义上下文与物理预测和控制联系起来，CogWAM 采用进度条件 WORLD 和 ACTION 查询，有选择地提取与任务相关的信息以进行未来世界预测和动作生成。在训练期间，语义状态为两个分支提供共享的任务进度上下文，而推理则删除未来预测分支并直接根据观察和维护的状态生成操作。我们进一步引入语义训练策略来改善过渡学习和闭环调节。在没有额外的机器人动作预训练的情况下，CogWAM 在 RoboDojo 上实现了 15.56 / 11.70% 的分数/SR，并在 BiCoord 上实现了最先进的性能，而现实世界的实验表明，闭环双臂操作的语义状态再生比逐步更新少 16.4。