GLANCE：基于音乐的非线性视频编辑的全球本地协调多智能体框架

以音乐为基础的混搭视频创作是一种具有挑战性的视频非线性编辑形式，系统必须从大量源视频集合中组成连贯的时间线，同时与音乐节奏、用户意图、故事完整性和长期结构约束保持一致。现有方法通常依赖于固定管道或简化的检索和串联范例，限制了它们适应不同提示和异构源材料的能力。在本文中，我们提出了 GLANCE，一种用于基于音乐的非线性视频编辑的全局-局部协调多智能体框架。 GLANCE 采用双循环架构来实现更好的编辑实践：外循环执行长期规划和任务图构建，内循环采用“观察-思考-行动-验证”流程进行分段编辑任务及其细化。为了解决子时间线组合后出现的跨部门和全局冲突，我们引入了一种具有预防性和纠正性组件的专用全局局部协调机制，其中包括新颖设计的上下文控制器、冲突区域分解模块和自下而上的动态协商机制。为了支持严格的评估，我们构建了 MVEBench，一个新的基准，根据任务类型、提示特异性和音乐长度来考虑编辑难度，并提出了一个可扩展的多维评估的代理作为法官的评估框架。实验结果表明，在相同骨干模型下，GLANCE 始终优于先前的研究基线和开源产品基线。以 GPT-4o-mini 作为骨干，GLANCE 在两种任务设置上分别比最强基线提高了 33.2% 和 15.6%。人工评估进一步确认了生成视频的质量并验证了所提出的评估框架的有效性。