论文

StreamEdit:通过几步流视频生成进行 无需训练 视频编辑

StreamEdit: Training-Free Video Editing via Few-Step Streaming Video Generation

模型推理解码与生成控制

摘要

尽管现有的视频编辑方法通常是可行的,但它们通常需要许多昂贵的迭代,并且仍然难以提供高质量且令人满意的编辑结果。我们将此限制归因于流行的数据到数据范式,与噪声到数据生成相比,它与现代生成模型的兼容性较差。为了解决这一差距,我们从噪声到数据的角度重新审视视频编辑,并提出基于流生成的视频编辑(StreamEdit),它保留了几步采样,同时无缝注入源视频条件。 StreamEdit 基于预先训练的流生成模型构建,引入了具有自注意力桥和交叉注意力视觉关联/增强的双分支快速采样,以满足采样和调节要求。我们进一步提出以源为导向的指导以提高目标生成质量,以及视觉提示策略以增强编辑灵活性和实用性。该方法有效、稳健且可推广到不同模型。对各种视频编辑任务的广泛实验表明,即使在时间成本极低的几个步骤设置中,StreamEdit 始终优于现有方法。代码和结果可在以下网址获取:https://dsl-lab.github.io/StreamEdit/。