论文

LiMode:从混合动态专家的角度重新思考终身机器人操作

LiMoDE: Rethinking Lifelong Robot Manipulation from a Mixture-of-Dynamic-Experts Perspective

模型训练持续学习

摘要

构建一个可以利用先验知识进行连续任务适应的多面手机器人仍然是一个重大挑战。之前的工作通过参数高效的 微调 进行单任务适应来缓解灾难性遗忘问题。然而,他们未能提取可重用的技能并有效地模拟与其他技能的交互。最近的作品试图通过学习提示来解决这些问题。不同的是,本文提出了动态专家终身混合(\textit{LiMoDE})的架构视角,这是一种用于终身机器人操作的新颖的两阶段学习方案。具体来说,首先在多任务 预训练 阶段提出动态 MoE 结构来学习先验知识,其中根据运动信息激活不同数量的异构专家来解决不同的短期操作。随后,在任务适应阶段,我们设计了一种终身MoE适应机制%(LiMoEAM),该机制学习终身专家并将其与冻结专家动态结合以完成新任务,从而促进适应过程中的知识迁移。所提出的 \textit{LiMoDE} 在模拟终身学习基准和现实世界任务上进行评估。大量的实验证明了它通过引入适量的额外可训练参数和推理开销来实现卓越性能和强大的终身适应的有效性。