论文

AgentMV:用于生成预算敏感音乐视频的国家引导多代理框架

AgentMV: A State-Guided Multi-Agent Framework for Budget-Aware Music Video Generation

智能体系统Agent 协作

摘要

从歌曲生成完整的音乐视频需要的不仅仅是为单独的歌词提示合成视觉上合理的剪辑。实用的系统必须保持远程视觉一致性,协调重复出现的主题,将编辑与音乐结构同步,并管理视频生成的累积成本。现有的方法通常独立生成片段或采用固定的生成策略,限制了它们对整首歌曲执行全局规划的能力。我们提出了 AgentMV,一个用于生成预算敏感的音乐视频的国家指导多代理框架。 AgentMV 将制作过程分解为用于音乐感知、脚本规划、视觉资产提供、分段实现和最终组装的专门代理,并通过结构化持久状态进行协调,该结构化持久状态能够在整个生成过程中实现信息交换和状态跟踪。为了优化生成资源,我们将主题感知分段实现制定为通过动态规划解决的组级多项选择背包问题,并考虑全局预算约束下的分段重要性、生成质量、成本和主题重用。歌曲基准实验表明,AgentMV 比现有 MV 生成框架改善了质量成本权衡,凸显了国家引导的多智能体协调和预算意识规划在长格式音乐视频生成方面的潜力,同时提高了质量和效率。