论文

D-CLING:用于导航基础模型的预先保留深度条件 微调

D-CLING: Prior-Preserving Depth-Conditioned Fine-Tuning for Navigation Foundation Models

模型训练监督微调与指令调优

摘要

在大型跨实体数据集上训练的导航基础模型(NFM)在各种场景中都表现出了强大的通用性。采用域内 微调 进行 NFM 可以有效地校准视觉运动策略,即使在新的场景中也有望得到进一步的改进。然而,经过微调的模型仍然存在避障效果不佳或无法正确达到所提供的目标的问题。此外,使用一小部分数据进行模型更新通常会侵蚀预先训练的先验信息,从而损害 预训练 泛化能力。因此,微调 降低了模型稳健且准确导航的能力。在这项工作中,我们提出了一种新颖的 微调 方法,该方法利用大规模 预训练,同时在新颖的设置(例如环境或相机配置)中高效学习。特别是,受 ControlNet 的启发,我们通过使用零初始化残差路径附加预训练主干的可训练副本来微调 NFM,从而学习几何线索。这种设计使模型能够有效地获取域内几何形状,同时保留跨各种行为的预先训练的知识。尽管很简单,但我们对现实世界导航的综合评估表明,我们的建议有效地实现了稳健的长视距导航,同时将碰撞和人为干预降至最低。此外,我们的离线分析表明,所提出的方法保持或进一步提高了微调数据集之外的动作预测能力,为一般导航的持续学习提供了关键的见解。项目页面:https://toyotafrc.github.io/DCLING-Proj/