论文

StreamDAM:用于实时流视频对象分割的存在感知内存

StreamDAM: Presence-Aware Memory for Real-Time Streaming Video Object Segmentation

摘要

质量层视频对象分割 (VOS) 跟​​踪器,例如 DAM4SAM 高精度排行榜,但它们是离线测量的,一次一帧,没有时钟。在每秒 30 帧的诚实流协议下,未达到预算的帧将被提供给已计算出的最后一个掩码,获胜者崩溃了:使其准确的丰富内存太慢而无法跟上,并且它发出的内容对于对象是否存在而言是盲目的。我们将这两种故障都追踪到一个地方,即跟踪器的内存管道,并重建它以进行流式传输。 \method{} 通过模型内优化(而不是螺栓固定的回退)使内存机制本身以帧速率运行,并使用单个学习到的存在信号来控制它,该信号决定什么进入内存、跟踪器读取多远、何时保留输出以及何时重新检测。机制分析说明了为什么固定策略无法获胜:当对象真正消失时有帮助的控制是在对象仅仅难以看到时造成伤害的控制,因此必须在每一帧中做出选择。在四个基准测试和五个现代基准中,\method{} 是最强大的流媒体跟踪器,在时钟下恢复了几乎所有离线模型的准确性,并且在最难的内容上超过了它所构建的离线模型。