论文
生成器是跟踪器:通过绘制持久的身份颜色进行多对象跟踪
The generator is the tracker: Multi-object tracking by painting persistent identity colours
摘要
多对象跟踪(MOT)通常被分解为检测和关联,对象身份保持为外部状态:跟踪缓冲区、运动模型和外观嵌入。我们询问视频生成器是否可以保持该状态(以像素为单位)。我们使用轻量级上下文 LoRA 微调 22B 文本到视频扩散模型 (LTX-2.3),将 RGB 剪辑转换为 ID 映射剪辑,在该视频中,每个人都被涂上平坦、独特的颜色,并随着时间的推移持续存在:相同的颜色,相同的身份。长视频生成为链接窗口,其中每个窗口都以前一个窗口的清理尾部为条件。简短的连续微调教导模型扩展给定的颜色,之后身份在没有跟踪器、没有运动模型和没有重新识别模块的情况下流过链。在 DanceTrack 测试服务器上,据我们所知,我们的系统是在那里评估的第一个生成跟踪器,也是唯一一个没有检测器和跟踪堆栈的条目,达到了 40.3 HOTA。这远低于当今的专业技术水平 (>=70 HOTA),但具有独特的反向错误配置文件:其关联分数 (AssA 44.1) 超过原始基准套件的每个跟踪器,而检测仍然是唯一的缺陷。受控比较表明机制很重要:由经典事后关联链接的相同生成窗口得分差 2 倍(18.2 HOTA),并且帧到帧 IoU 关联片段跟踪生成器的颜色保持完整。在 383 个挖掘的遮挡事件中,生成器以 42% 的条件率在间隙后重新获取身份,其中外观嵌入基线得分为零,包括比其时间上下文更长的间隙,这证明生成器的颜色分配起到了紧急重新识别信号的作用。我们发布代码、检查点和完整的预注册实验日志。