ORBIS：输出引导的词元减少与分布感知匹配以实现视频传播加速

Diffusion Transformer (DiT) 已成为生成高质量图像和视频的强大模型架构。在视频 DiT 的情况下，3D 时空注意力会根据帧数按比例增加标记长度，从而急剧增加计算成本。词元减少方法通过利用空间冗余来减轻这种成本，但现有方法依赖于不准确的相似性估计和轻量级匹配算法，导致匹配质量较差且仅有边际加速。为了克服这些限制，我们提出了 ORBIS，这是一款软件与硬件共同设计的视频 DiT 加速器。 ORBIS 利用前一个时间步的输出激活来获得更准确的词元间相似度，从而显着提高匹配质量并实现更高的词元缩减率。我们进一步引入了分布感知词元匹配（DATM）算法，该算法捕获全局词元分布并显式最小化词元对损失以获得额外收益。为了完全隐藏 DATM 延迟，我们设计了专门的深度流水线硬件，并通过量化最大限度地降低其硬件成本，仅占用总面积的 2.4%，精度损失可以忽略不计。大量实验表明，与最先进的方法 AsymRnR 相比，ORBIS 的词元减少率提高了约 2 倍，同时与 NVIDIA A100 GPU 相比，加速速度提高了 4.5 倍，能耗降低了 79.3%。