论文

VideoWeaver:评估和发展代理长视频生成的技能

VideoWeaver: Evaluating and Evolving Skills for Agentic Long Video Generation

智能体系统Agent Harness

摘要

代理长视频生成需要长期规划、工具编排和跨剪辑协调。大多数现有的视频代理要么依赖静态的、人工设计的工作流程,这需要大量的手动工作并且跨任务的适应性较差,要么迭代地细化当前任务的输出,而不持续将执行经验提炼为未来任务的可重用技能。我们引入了 VideoWeaver,这是一种代理工具和基准,可评估和发展长视频生成的技能。给定单个高级指令,代理可以动态地将基础技能组合到自己的工作流程中,而不是遵循预定义的管道。我们构建了 16 个任务类别和 285 个案例的基准,参考内容涵盖文本、图像、音频、视频及其组合。我们进一步提出了一种基于证据的代理作为法官,它检查执行跟踪和最终视频以诊断流程和输出故障。基于此反馈,我们的进化算法逐步完善类别级别的组合和创建者技能,允许重复出现的经验指导针对未见过的案例动态构建的工作流程。实验表明,与单独的基础技能相比,显式组合技能可以改善生成过程,而技能进化则进一步提高输出质量并推广到未见过的情况。纳入法官反馈会产生额外的收益,特别是在输出指标方面,并且代理法官与人类非常一致,特别是在流程指标方面。代码可在 https://github.com/JianhuiWei7/VideoWeaver 获取。