论文

从一般视觉到可靠的可通行性估计:针对非结构化户外环境调整视觉基础模型

From General Vision to Reliable Traversability Estimation: Adapting Vision Foundation Models for Unstructured Outdoor Environments

应用与实践视觉感知与空间理解

摘要

基于视觉的方法已成为非结构化户外环境中可遍历性估计的主导范例,通常通过语义分割监督来适应视觉基础模型(VFM)。然而,这种范式面临着三个破坏其可靠性的基本挑战:VFM 的任务无关设计、可遍历性注释的模糊性以及语义标签和物理安全之间的差异。我们提出了视觉到可通行性适应(ViTA),这是一个采用 VFM 进行可靠可通行性估计的框架,在 SAM2 上实例化。 ViTA 通过可学习的可遍历性提示注入特定于任务的知识,同时保留 VFM 的跨域泛化能力。为了处理注释歧义,我们引入了视角多样化训练,它估计语义不确定性以抑制模糊边界处的置信预测。为了弥合语义可遍历性差异,我们在训练期间提取几何知识,从而在推理时仅从 RGB 图像进行坡度和高程推理。语义和几何输出融合成连续的可遍历性分数,反映语义不确定性和几何风险。跨不同领域的评估,包括具有挑战性的现实世界越野数据集,表明 ViTA 实现了最先进的 IoU 和精度,并大幅减少了误报和强大的跨领域泛化能力。