论文

PanoVideoReasoner以球面时空证据监督蒸馏全景视频推理

Think in 360°: Benchmarking and Bootstrapping Panoramic Video Reasoning

模型优化模型训练模型评测合成数据蒸馏基准与评测资源

摘要

全景视频捕捉摄像机周围的所有方向,但相关证据可能会在不同方向和不同时间出现。理解它需要模型将整个视域和时间的观察结果联系起来。我们推出 PanoVideoBench,这是第一个用于全面全景视频理解的手动注释基准。其 1,000 个问题涵盖 5 个类别和 15 种问题类型,具有目标搜索和全景功能的诊断注释。对 11 个专有、开源和全景专业模型的评估表明,跨视图跟踪和球面空间与时间证据整合是它们最薄弱的功能。为了增强这些能力,我们构建了 PanoVideoCoT,这是第一个基于真实全景视频的推理数据集,通过基于球面时空的合成将经过验证的全景观察结果和成功的 Agentic 探索转换为 13,465 个 QA-CoT 对。从一般视频 MLLM 开始,PanoVideoReasoner 通过全景 CoT SFT 和特权证据引导的同策略自蒸馏(Evidence-Privileged On-Policy Self-Distillation)(Vision-OPD OPSD 的全景实例)从该语料库中学习,其中教师使用经过验证的透视视图来指导学生生成的轨迹。在 PanoVideoBench 上达到 55.7%,相比骨干提高 12.5 个百分点,较之前的 SOTA 提高 2.6 个百分点。收益集中在基准测试所暴露的相同空间、交叉视图和时间能力上,表明具有证据依据的球面时空监督可以为通用视频 MLLM 配备全景推理。

PanoVideoReasoner以球面时空证据监督蒸馏全景视频推理:论文配图
图1:360°视频覆盖整个场景,但证据仍可能难以找到。PanoVideoBench评估模型如何跨方向与时间发现并连接证据。PanoVideoCoT把经验证的球面—时间证据及求解轨迹转为推理监督,使Qwen3.5-9B提升12.5点,并达到新的最佳水平。