论文
HiCrew:通过问题感知的多智能体协作实现长视频理解的层次化推理
HiCrew: Hierarchical Reasoning for Long-Form Video Understanding via Question-Aware Multi-Agent Collaboration
摘要
长视频理解从根本上受到无处不在的时空冗余和跨越长时程的复杂叙事依赖的挑战。尽管近期的结构化表示能有效压缩视觉信息,但它们常常牺牲对因果推理至关重要的时序连贯性。与此同时,现有多智能体框架通过僵化的、预定义的工作流运行,无法使其推理策略适应特定问题的需求。本文提出HiCrew,一个通过三项核心贡献来解决这些局限的层次化多智能体框架。第一,我们提出混合树(Hybrid Tree)结构,利用镜头边界检测来保持时序拓扑,同时在语义连贯的片段内进行相关性引导的层次化聚类。第二,我们开发了问题感知字幕生成(Question-Aware Captioning)机制,合成意图驱动的视觉提示以生成面向精度的语义描述。第三,我们集成了一个规划层(Planning Layer),根据问题复杂度自适应地选择角色和执行路径,从而动态编排智能体协作。在EgoSchema和NExT-QA上的大量实验验证了该方法的有效性,表明其在各类问题上表现强劲,其中在时序和因果推理任务上的提升尤为显著,这得益于我们保留层次结构的设计。
