LiveEdit：迈向基于扩散的实时流视频编辑

流媒体视频编辑已经取得了快速进展，但实际部署仍然受到两个核心问题的限制：随着时间的推移保持稳定的背景和非编辑区域，以及实现实时交互场景所需的低延迟。同时，最近的流视频生成方法大多是为了合成而开发的，由于严格的保存要求和特定区域的控制，无法直接应用于编辑。在这项工作中，我们提出了一种新颖的流媒体视频编辑框架，该框架可以执行因果、逐帧编辑，具有强大的内容保留和实时响应能力。我们的关键设计是三阶段 蒸馏 管道，可逐步将编辑功能从强大的双向基础模型转移到高效的单向流编辑器，从而在不牺牲视觉保真度的情况下实现稳定的长视野编辑。为了进一步支持实时部署，我们引入了面向 AR 的掩模缓存，它可以跨帧重用与区域相关的计算，从而大大减少冗余处理并加速推理。最后，我们为流媒体视频编辑建立了专用基准。广泛的评估表明，我们的方法在流基线中实现了最先进的视觉质量，同时将推理速度大幅提高到 12.66 FPS，使其适合交互式和增强现实应用。