DEMON：用于音乐编排噪音的扩散引擎

我们推出了 DEMON，一种实时扩散引擎，使去噪过程可以像现场乐器一样演奏：控制界面既广泛（输出中每帧形成的许多参数）又响应灵敏（每个控制在去噪循环中的位置允许的情况下尽快生效）。它以 ACE-Step 1.5 和 StreamDiffusion 的环形缓冲区架构为基础，具有 TensorRT 加速功能，可在单个消费类 GPU (RTX 5090) 上为 60 秒的音乐维持每秒 12.3 次解码器完成，或者在我们的生产环深度为 4 时每秒维持 11.3 代。在这些速率下，降噪参数作为现场性能控制变得可行，但环形缓冲区仅以其消耗速率传播每个请求的更改，即S层去噪步骤。我们贡献了四种机制。 (1) 每时隙异构降噪调度：每个环形缓冲区时隙拥有其时间步调度，因此可以在不擦除正在进行的队列的情况下跟踪移动的降噪滑块，其中上游全局调度设计必须重建并丢弃它。 (2) 共享可变的每步状态，提供在每个求解器步骤中查询的任何参数的下一步效果，绕过环形缓冲区耗尽。 (3) 每帧源混合：对标准 SDE 再噪声步骤的采样时间控制，给出补充标量噪声调度的逐帧变换强度轴。 (4) 窗口 VAE 解码利用感受野分析实现 8.0 倍的解码加速。根据起始和收敛延迟，这些单独的流扩散参数一起分为四个传播类别。