SANA-Streaming：使用混合扩散的实时流视频编辑 Transformer

实时流媒体视频到视频编辑 (V2V) 对于直播和游戏等交互式应用至关重要，但由于对时间一致性和推理吞吐量的严格要求，它仍然是一个艰巨的挑战。在本文中，我们提出了SANA-Streaming，一个用于在消费级GPU上进行高分辨率实时流媒体视频编辑的系统算法共同设计的框架，具有以下三个核心设计：（1）混合扩散Transformer架构在部分模块中引入了softmax注意力，以提高局部建模能力，同时保留线性层的效率。 (2) 循环反向正则化是一种新颖的训练策略，它通过流匹配从生成的内容中预测源帧来增强语义一致性，从而提高时间一致性，而不需要配对的长编辑视频。 (3) 高效系统协同设计结合了融合的 GDN 内核和针对 NVIDIA Blackwell (RTX 5090) 架构优化的混合精度量化 (MPQ)。通过分析真实世界的吞吐量，我们的 MPQ 最大限度地提高 Tensor Core 利用率，同时保持生成质量。最终的系统在单个 RTX 5090 GPU 上以 24 端到端 FPS 实现实时 1280 x 704 分辨率编辑，DiT 核心以 58 FPS 运行。实验结果表明，我们的协同设计方法在时间相干性和系统吞吐量方面均显着优于现有的 SOTA 方法。