乘风破浪：精确分配稀疏注意力以实现流畅的视频生成

视频扩散 Transformer 彻底改变了高保真视频生成，但面临着自注意力的巨大计算负担。虽然稀疏注意力提供了一种有前途的加速解决方案，但现有方法经常引起由静态稀疏模式和确定性块路由引起的严重视觉闪烁。为了解决这些限制，我们提出了精确分配稀疏注意力（PASA），这是一种专为高效且时间平滑的视频生成而设计的 无需训练 框架。首先，我们实现了曲率感知的动态预算机制。通过分析跨时间步长的生成轨迹加速，我们弹性地分配精确的计算预算，以在关键语义转换期间严格确保高精度处理。其次，我们用硬件对齐的分组近似代替全局均质化估计，成功捕获细粒度的局部变化，同时保持峰值计算吞吐量。最后，我们将随机选择偏差纳入注意路由机制中。这种概率方法软化了严格的选择边界并消除了选择振荡，有效地消除了导致时间闪烁的局部计算匮乏。对领先视频扩散模型的广泛评估表明，PASA 实现了显着的推理加速，同时持续生成非常流畅且结构稳定的视频序列。