论文

GAFT:用于罕见故障危险识别的地理锚定 微调

GAFT: Geo-Anchored Fine-Tuning for Hazard Identification from Rare Failures

模型训练参数高效训练

摘要

当物理结构引发不可恢复的状态(例如高居中或陷入困境)时,越野导航可能会失败,需要人工干预。识别这些结构至关重要,但也具有挑战性。此类故障事件很少见,收集成本高昂,导致训练数据有限。此外,收集的数据将框架与结果相关联,但并未表明导致失败的视觉线索。因此,直接从这些数据中学习可以利用特定场景的视觉线索,从而导致泛化能力较差。我们提出了 \textbf{Geo-Anchored 微调 (GAFT)},这是一种参数有效的方法,它采用几何导出的先验来适应视觉基础模型。它通过将空间注意力部署图与先验几何对齐来指导 LoRA 适应,同时保留预先训练的表示。在干预验证的森林危害基准上,在十个独立训练的适应中,GAFT 始终优于冷冻 DINOv2 和监督 PEFT 基线,将重复留一情景平均值 $F_2$ 从 0.0607 提高到 0.3757,在配对分析下具有统计显着性。在这些独立训练的模型中,表现最好的 GAFT 模型实现了 0.570 的重复LOSO $F_2$。代码和基准:https://github.com/Xu-Yanran/geo_anchored_fine_tuning