论文

使用 SAM3 进行关键帧推理:第八届 LSVOS 挑战赛 MeViS-Text 赛道第三名解决方案

Key-Frame Reasoning with SAM3: Third Place Solution for the MeViS-Text Track of the 8th LSVOS Challenge

模型推理推理策略与问题分解

摘要

本报告介绍了第八届 LSVOS 挑战赛 MeViS-Text 赛道的两阶段 无需训练 解决方案。该任务需要一个模型来本地化和分割整个视频中自然语言表达指定的对象。此类表达通常取决于时间线索,包括动作、交互、方向和相对位置。我们的第一阶段通过 API 使用 Gemini-3.1 Pro 将视频级事件分解为实例级目标,为每个目标选择一个关键帧,并生成与该帧对齐的判别性描述。在第二阶段,SAM3-agent 在所选帧上生成像素级种子掩码,SAM3 视频跟踪器在视频中双向传播该掩码。有效实例在其逐帧掩码合并之前独立定位和传播。所有本地 SAM3 处理都在单个 NVIDIA GeForce RTX 4090 上运行,无需特定于任务的训练或模型集成。我们的方法在挑战测试集上排名第三,获得的 J&F、J、F、N-acc.、T-acc. 和 Final 分数分别为 0.761、0.7367、0.7852、0.8333、0.9755 和 0.856593。