论文
FRAMEWORKERS:面向AI视频制作的动态多智能体框架
FRAMEWORKERS: A Dynamic Multi-Agent Framework for AI-Generated Video Production
摘要
现代视频生成器擅长合成单个剪辑,但完整的视频制作需要协调一长串相互依赖的创意步骤,包括脚本、故事板、生成和编辑。随着中间输出、依赖关系和执行状态随着时间的推移而变化,它还需要持久的资产管理和动态任务编排。现有的自动化系统通常依赖于僵化的管道,难以适应不同的输入和不断变化的工作流程,而通用大语言模型 (LLM) 对于长期编排和多模态资产路由仍然不可靠。我们推出 FRAMEWORKERS,这是一个以任务为中心、以工作空间为基础的多代理框架,用于开放式视频制作。中央导演将视频创建制定为动态任务管理,不断编辑任务堆栈以确定下一步要执行哪个子任务以及要调用哪个子代理。助手充当执行层,将每个选定的任务置于共享工作区中,检索所需的资产和上下文,调用分配的子代理,并保留生成的工件。执行功能通过具有注册描述符的模块化子代理公开,允许集成新的子代理而无需重新设计编排工作流程。为了提高编排可靠性,我们通过监督微调(SFT)和组相对策略优化(GRPO)来微调Director,以实现描述符条件任务路由。实验表明,FRAMEWORKERS 在路由准确性方面优于强大的 LLM 规划器,从运行时故障中可靠地恢复,无需重新训练即可泛化到看不见的子代理,并且比固定管道、单代理系统和先前的多代理方法实现更高的端到端视频质量和更广泛的任务覆盖范围。
