SynerDiff：用于快速并行扩散模型推理的协同连续批处理

人工智能生成的内容服务的扩展需要扩散模型服务来同时实现高吞吐量和低任务端到端（E2E）延迟。然而，现有的连续批处理方法在 UNet-VAE 并发期间遭受严重的资源争用，导致延迟峰值。此外，并发多任务调度需要在不同的调度策略下在 UNet 吞吐量和 VAE 延迟之间进行权衡。为了解决这些问题，我们提出了 SynerDiff，这是一种基于层内层间协同作用的高效连续批处理系统。在内部并发级别，SynerDiff 通过 VAE Chunking 和 Adaptive Skip-CFG 修剪特定于组件的资源瓶颈，从而缓解资源争用。在并发级别，利用组件对调度粒度的不同敏感性，阈值感知调度程序可以规划并发序列并调整并发内决策，以最大程度地减少 VAE 延迟，同时将 UNet 保持在高吞吐量阈值内。此外，反馈控制器根据队列负载动态调整该阈值，以提高系统容量上限。实验结果表明，与基准测试相比，SynerDiff 在保证高图像保真度的同时，吞吐量提高了 1.6$\times$，平均 E2E 和 P99 尾部延迟降低高达 78.7\%。