LiAM-SAM：用于基于 SAM2 的稳健 MOT 的生命周期感知内存

基于分段的多目标跟踪 (MOT) 和 SAM2 等基础视频模型可提供强大的定位质量，但在拥挤的现实世界场景中仍然脆弱。在检测器提示的 SAM2 管道中，故障通常出现在对象生命周期的三个阶段：(i) 错误或重复的轨迹启动，(ii) 紧密交互期间的内存漂移，以及 (iii) 长时间遮挡或重新进入后不可靠的重新识别。这些错误会破坏对象内存并随着时间的推移而累积，从而导致长视野跟踪不稳定。在本文中，我们将 MOT 重新定义为生命周期内存完整性问题。我们提出了 LiAM-SAM，这是一种生命周期感知内存 (LiAM) 框架，具有针对三种故障模式中每种故障模式的目标机制。在轨道诞生时，为了防止错误或重复启动，我们应用对比轨道启动，这会在现有的附近跟踪实例上调整每个提示。为了在强交互过程中保持记忆完整性，我们引入了基于运动和几何的记忆校正，可以解决交互混乱并抑制漂移。为了在消失后进行可靠的重新识别，我们维持了自适应上下文记忆，促进多样化且值得信赖的参考作为长期身份锚。最后，相似性感知空间修剪选择性地选择在交叉注意时间保留的记忆标记，以最小的准确性损失提高效率。 LiAM-SAM 代表了一种模块化、与探测器无关、基于 SAM2 的 MOT 系统，可在评估基准上实现最先进的 HOTA 和 IDF1。在关联挑战环境中，我们的消融表明 LiAM 将检测器+SAM2 基线提高了 +10.5 HOTA、+17.4 AssA，并将身份切换减少了 96%。