冻结视觉语言空间中的可通行性偏好适应

摘要

基于图像的可通行性估计依赖机器人平台、部署域和任务偏好，限制专门训练模型的适用性。为促进域适应，本文通过样本高效偏好学习减少目标域所需标注。方法在冻结视觉语言特征空间中，以von Mises–Fisher混合原型表示可通行性。相对自然语言规则提供常识先验，稀疏相对图像标注通过计算与样本高效微调，将原型方向和效用适应到目标域。WayFAST实验显示，方法在实现样本高效图像适应的同时，准确率可与端到端训练估计器竞争。定性实验进一步展示语言先验的零样本适用性，以及微调估计器在语义图上改善的稠密预测。评估还通过分析语义相近的自然语言提示，对学到的原型进行语义解释。代码与训练后的估计器见 https://resireg.github.io