JAVEDIT：联合视听教学指导视频编辑与代理数据管理

虽然基于指令的视频编辑取得了重大进展，但联合视听编辑仍然受到缺乏专用数据集和基准的限制。为了弥补这一差距，我们推出了 JAVEdit-100k，这是第一个为指令引导联合视听编辑量身定制的大规模、高质量数据集。 JAVEdit-100k 专注于以人为本的视频，包含大约 100K 个编辑三元组，涵盖五个不同的类别，包括主题编辑和语音编辑。该数据集是通过四个精心设计的生成管道严格构建的，与代理在环质量控制机制无缝配对。此外，为了解决该领域缺乏标准化评估的问题，我们引入了 JAVEditBench，这是一个综合基准测试，具有跨所有编辑类别的精选源视频和人性化指令。最后，我们提出了 JAVEdit，这是一种用于指令引导联合视听编辑的开创性基线模型。实验表明，模型在六个评估指标中的五个指标上优于所有基线。