AdaCluster：视频生成中稀疏注意力的自适应查询键聚类

视频扩散 Transformer (DiT) 由于二次注意力复杂性而遭受令人望而却步的推理延迟。现有的稀疏注意力方法要么忽视语义相似性，要么无法适应跨层的异构词元分布，导致模型性能下降。我们提出了 AdaCluster，这是一种 无需训练 自适应聚类框架，可以加速 DiT 的生成，同时保持准确性。 AdaCluster 将保留角度相似性的聚类方法应用于查询向量以实现更高的压缩，并为键设计了保留欧氏相似性的聚类方法，涵盖簇编号分配、阈值自适应聚类和高效的关键簇选择。在一块 A40 GPU 上对 CogVideoX-2B、HunyuanVideo 和 Wan-2.1 进行的实验表明，加速速度高达 1.67-4.31 倍，质量下降可以忽略不计。