论文
ResMerge：以残差强化学习和参数合并持续适配预训练机器人策略
ResMerge: Residual Policy Learning and Merging for Continual Adaptation of Pre-trained Robot Policies
摘要
不断适应新任务对于现实世界中部署的机器人至关重要，但由于参数增长和持续示范收集的需要，适应预训练的策略仍然具有挑战性。参数高效持续微调（PECFT）隔离特定于任务的更新，但每任务一个适配器的设计需要示范并随着任务集的增长而增长。我们提出了 ResMerge，这是一个两阶段框架，可在冻结的预训练策略之上学习可合并的残差策略：残差强化学习（RL）在适应过程中无需额外的专家示范即可获取特定于任务的校正，参数空间合并可合并兼容的残差以减少存储的参数。我们引入了残差场一致性（RFC），这是一种简单的、有界的、可解释的度量，它通过比较校正方向和幅度来评估残差动作场空间的兼容性。跨两个骨干的 LIBERO 和现实世界的 Franka 机器人的实验表明，与强大的 PECFT 基线相比，持续学习性能得到了改善，同时选择性合并减少了残差参数存储量。项目网站：https://resmerge.github.io/.
