ReVEAL：从多模态推理注意力提取角色证据指导视频目标分割

推理视频对象分割 (ReVOS) 需要对整个视频中隐式查询指定的目标进行分割。现有的基于 MLLM 的方法通常需要昂贵的跨模型对齐，将 MLLM 训练与下游分割模型联系起来。我们提出了 ReVEAL，这是一种针对 ReVOS 的解耦视频辅助思考框架，可从 MLLM 推理中引出角色感知的潜在视觉证据，以直接指导分割。 ReVEAL 将视觉证据token (VET) 引入视频推理中，将必要的视觉区域或实体与目标、背景或干扰角色相关联，而动态注意力层路由器则自适应地将跨层的 VET 到视频注意力聚合为特定于角色的定位证据。我们训练 MLLM 在我们构建的 ReVEAL-47K 数据集上执行 VET 增强推理，并使用对比注意力定位损失作为辅助监督，对 VET 注意力应用特定于角色的约束，并优化层路由以实现可靠的潜在定位。在推理时，ReVEAL 通过视频辅助思考过程识别目标，并融合所产生的特定于角色的证据，以指导冻结的 SAM2 预测目标掩模。五个基准测试的实验表明，ReVEAL 的性能优于无对齐基线，并且与基于对齐的方法保持竞争力。