论文

多帧红外小目标检测中分段任意事物的时间涌现提示

Temporal-Emerged Prompting for Segment Anything in Multiframe Infrared Small Target Detection

应用与实践视觉感知与空间理解

摘要

在低信噪比(SNR)红外序列中准确定位和分割小目标仍然是一项具有挑战性的任务。由于目标在各个帧中通常与背景难以区分,现有方法即使配备了先进的基础模型和强大的帧间关联机制,仍然无法检测到它们。由于观察到目标往往会随着时间的推移逐渐从背景中出现并变得可区分,我们提出了分段任意模型的时间出现提示(TEP-SAM),这是一个原则框架,旨在明确利用此类时间出现的线索来调节和提示 SAM。 TEP-SAM 通过联合建模全局运动模式和局部运动偏差来定位潜在目标。它通过利用运动差异进一步增强目标区域特征,从而为 SAM 生成时间出现的线索并实现非交互式分割。通过将大规模语义预训练与特定于任务的时间建模结合起来,TEP-SAM 有效地使 SAM 适应具有挑战性的多帧红外小目标检测任务。大量的实验证明了我们的方法的有效性,特别是在严重低信噪比条件和复杂的动态背景下。