HEART：利用稀疏注意力中的头部异质性进行视频传播

稀疏注意力通过允许每个注意力头仅关注交互的一小部分来加速视频传播。现有方法已经根据输入构建了头部特定的稀疏模式。然而，我们发现这些头部在两个不太明显但实际上很重要的方面也有所不同。首先，对于某些头部来说，稀疏注意力掩模在许多去噪步骤中保持稳定，而其他头部则迅速变化。其次，头部对稀疏化的敏感度差异很大：应用相同的阈值可能会在最终的去噪速度中产生明显不同的误差。忽略这些差异会导致在全局稀疏预算下冗余掩模预测和跨头的次优阈值校准。我们提出了 HEART，它是异质性利用自适应刷新和阈值的缩写，它是一个利用两种形式的头部异质性的 无需训练 框架。首先，时间掩模重用（TMR）使用轻量级的每头查询键漂移信号来确定缓存的稀疏掩模在去噪步骤中是否保持可靠，仅当漂移超过规定阈值时才刷新它。其次，误差引导预算校准（EBC）使用频率加权去噪速度误差离线评估候选阈值，并在全局稀疏预算下为每个头分配适当的阈值。 HEART 不需要重新训练、权重修改或稀疏内核更改，并且可以直接集成到现有的稀疏注意力管道中。在 Wan2.1-1.3B、Wan2.1-14B 和 HunyuanVideo-13B 中，HEART 始终如一地推动 XAttention 和 SVG2 等先进稀疏注意力方法的质量效率前沿。