多感官持续学习：调整预训练的视觉运动策略以适应力量

机器人操纵通常依赖于视觉之外的感官反馈，特别是在接触丰富的环境中，力、触觉或音频信号揭示了无法从图像中直接观察到的交互状态。然而，这些模式通常是特定于硬件和任务的，并且大规模多感官机器人数据集仍然稀缺。因此，对可能遇到的每个传感器进行预训练策略是不切实际的。我们研究多感官持续学习：使用新引入的模式使预训练的机器人策略适应新任务，同时保留原始传感器套件下的性能。我们提出了多感官世界模型（MuSe），它通过多阶段融合、多感官未来预测和预训练数据的经验回放，将有限的多感官数据整合到预训练的仅视觉策略中。我们通过力扭矩传感增强预训练的仅视觉策略来实例化 MuSe，并在现实世界的操纵任务中对其进行评估。我们的实验表明，MuSe 在接触丰富的微调任务上表现强劲，同时保留并在某些情况下提高了原始预训练任务的性能。这些结果表明，适度的多感官数据集可以提高机器人的一般能力，超越微调分布。项目网站：https://jadenvc.github.io/multisensory-continual-learning/