论文

Chorus II:跨请求稀疏性重用以实现高效的图像到视频生成

Chorus II: Cross-Request Sparsity Reuse for Efficient Image-to-Video Generation

模型推理推理加速

摘要

为图像到视频生成提供扩散模型的计算成本很高,这给大规模部署带来了重大挑战。真实的 I2V 工作负载通常包含类似的请求,例如重复的效果模板、相关主题和重复的镜头布局。现有的交叉请求加速方法主要通过特征重用来利用这种冗余。我们观察到,类似的 I2V 请求也共享高度一致的稀疏注意力模式,使得历史稀疏掩码能够充当请求条件先验,几乎没有在线掩码预测开销。我们提出了一个以\textbf{稀疏性重用}为中心的跨请求重用框架,其中\textbf{特征重用}作为由轻量级\textbf{指导增强}保护的可选扩展。我们的稀疏性重用是作为共享稀疏掩码重用来实现的,它重用来自类似历史请求的高质量稀疏掩码,以避免每个请求的在线掩码预测。可选的特征重用将下采样计算应用于高度冗余的时空区域,减轻边界伪影,同时保持效率增益。指导增强增强了重复使用后的图像/文本调节,减轻了语义漂移和条件遵守问题。实验表明,默认的稀疏性重用配置可以保持生成质量,并具有 \textbf{2.16$\times$} 加速。