论文

何时适应:多信号域移位检测可在开放词汇分割中实现高效的免训练适应

When to Adapt: Multi-Signal Domain Shift Detection for Efficient Training-Free Adaptation in Open-Vocabulary Segmentation

模型训练持续学习

摘要

强大而可靠的感知对于在现实环境中运行的自主机器人至关重要,特别是在环境条件可能随时间发生显着变化的长期任务中。尽管视觉基础模型 (VFM) 的最新进展改进了开放词汇语义分割,但这些模型仍然可能受到域转移的影响,如果它们不适应当前环境,可能会显着降低性能。免训练域适应是适应的相关范例,包括使用轻量级适配器在线调整模型。最近的方法在每帧的基础上应用这一点,这对于资源受限的机器人硬件上的部署来说是不切实际的。为了解决这个问题,我们提出了一种多信号域移位检测方法,用于开放词汇分割中的免训练连续测试时间适应(TF-CTTA)。我们的方法通过监视和组合域转移的互补方面(视觉变化、适配器不匹配和语义漂移)来利用连续帧之间的时间一致性,以仅在需要时触发适应。我们在包括室内和室外环境在内的基准上并使用真实的机器人数据来验证我们的方法。我们证明了我们的方法在保持分割准确性的同时大大减少了适应,使免训练适应对于长期、现实世界的机器人部署来说是切实可行的。