Aurora：使用工具使用代理进行统一视频编辑

摘要

最近的视频编辑模型已经集中在统一的调节设计上：单个扩散Transformer共同消耗文本、源视频和参考图像，一组权重涵盖替换、删除、风格转移和参考驱动的插入。该设计很灵活，但它假设用户已经提供了模型就绪的文本、参考图像和用于本地编辑的空间基础，而实际的请求经常会忽略这些。我们推出了 Aurora，一种代理视频编辑框架，它将工具增强视觉语言模型 (VLM) 代理与统一视频扩散 Transformer 配对。 VLM 代理将原始用户请求映射到与 Transformer 的调节通道一致的结构化编辑计划，从而在生成之前解决文本和视觉规格不足的问题。我们使用监督数据训练 VLM 代理，以实现完整的编辑规划和参考图像选择，以及用于稳健工具使用和指令细化的偏好对。我们引入 AgentEdit-Bench 来评估文本和视觉规格不足的情况下的代理增强视频编辑。 AgentEdit-Bench 和两个现有视频编辑基准测试表明，Aurora 比仅指令基线有所改进，并且 VLM 代理可迁移到兼容的冻结视频编辑模型。项目页面：https://yeates.github.io/Aurora-Page