InstructAV2AV：指令引导音视频联合编辑

最近基于扩散的方法在视频内容操作方面取得了令人瞩目的进展。然而，他们通常会忽略伴随的音频，使音频与编辑的结果脱节。在本文中，我们提出了 InstructAV2AV，这是第一个用于指令引导的音视频联合编辑的端到端框架。我们首先开发了一个可扩展的数据合成管道并构建了 InsAVE-80K，这是第一个具有高质量源到目标对的大规模音频视频编辑数据集。有了这个数据基础，我们调整音频视频生成主干以利用其强大的先验。我们将音视频输入与噪声潜在代码连接起来以锚定源上下文，提出源指令门控注意力以改善指令跟随和内容保存，并引入两阶段训练策略来有效地转移这些预先训练的先验。大量实验表明，InstructAV2AV 在两个评估集的三个方面的 11 个指标上优于最先进的方法，突显了其在可控内容创建方面的潜力。项目页面：https://hjzheng.net/projects/InstructAV2AV/。