使用雷达分割任何运动：强大的多模态移动物体分割和跟踪

运动物体感知必须决定哪些图像区域对应于真实运动，并随着时间的推移保持每个实例的识别。从外观、光流或估计轨迹读取运动的方法在光照不足、恶劣天气、反射和遮挡的情况下会丢失这些证据。雷达是一种自然的补救措施，因为它直接测量径向速度，而不是通过光度对应来推断。然而，现有的基准并没有共同提供雷达测量、密集的移动实例掩模和时间一致的监视身份。因此，我们引入了 RGBTR-Motion，这是一种同步且校准的固定摄像机基准测试，它将 RGB、热和雷达流与密集的实例掩模和跨不同监控场景的时间一致的身份配对。我们还开发了 SAM-Radar，这是一种基于 SAM 3 的基于 RGB、热和雷达的分割和跟踪框架。SAM-Radar 的雷达感知探测器将校准的 RGBT 特征与基于其投影图像位置的雷达回波融合在一起，而运动监督则作为这些投影回波的前景分类来实现，教会探测器在没有任何文本提示的情况下拒绝杂波。跟踪器将接受的雷达回波与各个轨迹相关联，并将其用作视觉退化目标仍然存在的物理证据。这使得它能够弥合短期的低能见度或遮挡，并将重新出现的目标重新连接到其现有的身份，而不是开始新的轨道。 SAM-Radar 获得了 0.7027 IoU 和 0.8090 F1-50，并将 MOTA、HOTA 和 IDF1 比最强的竞争值提高了 0.2977、0.1603 和 0.2857。