SagaQA：电视剧长篇叙事理解的多跳推理基准

我们介绍 SagaQA，这是一种长格式视频基准，用于对全长电视剧进行多跳推理。现有的视频推理基准通常强调对相邻帧或剪辑的局部理解。 SagaQA 通过要求对整个电视节目中扩展的多模态叙事进行高水平的理解来解决这一差距。 SagaQA 的一个显着特征是其推理步骤的粒度。我们的数据集需要远程推理跳跃来连接完全不同事件中的信息。这需要模型对整个事件和动作进行推理，要求在多模式层面上深入理解节目的叙述和进展。在代理方法最新进展的推动下，我们进一步研究了不同的规划策略如何处理如此复杂的推理。我们将这些方法分为三类——并行规划器、顺序规划器和混合规划器——并评估它们生成连贯且完整的推理计划的能力。我们在 SagaQA 上的结果表明，混合规划者始终能够制定更高质量的计划，并在电视节目中表现出更强的复杂、高水平叙事理解能力。