SENTRY：SAM2 增强的邻居感知和时间推理记忆，用于视觉跟踪

我们重新审视基于 SAM2 的视觉对象跟踪中的记忆更新机制，并确定仅置信掩模选择是遮挡、快速运动和干扰因素下漂移的主要原因。我们引入了 SENTRY，这是一个 无需训练 即插即用、写入前优化模块，可在提交之前验证每个内存更新的短时间一致性。 SENTRY 聚合每帧的不同分割假设，将它们回溯到短轨迹中，并使用邻居感知的循环一致匹配最近的轨迹来支持时间和几何一致的掩模。它保持基本架构不变，用一致性验证的写入取代置信驱动的写入。为了公平评估，我们重新评估所有可用规模和数据集的基于 SAM2 的主要开源跟踪器，填补了之前报告中的空白。 SENTRY 集成到五个强大的基准中，在九个基准中提供一致的增益，在 LaSOT、LaSOT_ext、GOT-10k、VOT20、VOT22 和 DiDi 上实现新的零样本 SOTA。尽管进行了这些检查，SAM2-L 版本在 A100 上仍以 32.8 FPS 运行，并且在兼容主机上仅增加了约 0.4--0.6 GB VRAM。我们的结果首次对基于 SAM2 的跟踪器进行了统一的全面评估，并表明在写入时强制执行时间有效性可以稳定内存增强跟踪，而无需重新训练。项目页面：https://hamadya.github.io/SENTRY/page/