论文

JoyAI-Video-Edit：具有自回归扩散功能的实时开放式视频编辑

JoyAI-Video-Edit: Real-Time Open-Ended Video Editing with Autoregressive Diffusion

Yicheng Xiao; Wenxun Dai; Xinran Qin; Lin Song; Maoquan Zhang; Hang Xu; Yukang Chen; Yitong Li; Guohui Zhang; Yuan Zhang; Xuying Zhang; Tommy Zhang; Jianlong Yuan; Peihao Li; Shuai Lu; Siming Fu; Chuyang Zhao; Xin Han; Jie Huang; Wenbo Li; Guoqing Ma; Wei Huang; Xiaojuan Qi; Haoyang Huang; Nan Duan来源日期：2026.08.05

模型优化蒸馏

摘要

实时视频编辑需要具有有限计算资源的低延迟因果生成，同时保持源保真度和长期时间一致性。我们推出了 JoyAI-Video-Edit，这是一个 16B 参数自回归扩散框架，用于实时、开放式视频编辑，无需访问未来帧或预定义的视频持续时间。我们的方法结合了块式自回归适应、源锚定分布匹配蒸馏 (SA-DMD) 和长视野自回归蒸馏，以减少训练-推理不匹配，在两步生成期间保持源保真度，并减轻累积的时间漂移。广泛的自动和人工评估表明，JoyAI-Video-Edit 的性能大大优于现有的流媒体编辑器，并且在短视频和长视频上与强大的离线系统保持竞争力。整个系统在单个 Nvidia B200 GPU 上以大约 30 FPS 的速度实现端到端 720p 视频编辑。代码可在 https://github.com/jd-opensource/JoyAI-Video-Edit 获取。