极快作用扩散的测试时间稀疏性

动作扩散擅长高保真动作生成，但由于其迭代去噪性质，会产生大量计算成本。尽管当前的技术有望通过重用缓存功能来加速 Transformer 的传播，但它们很难适应开放环境中不同认知和多轮采样轨迹迭代所产生的政策动态。我们提出测试时稀疏性来应对这一挑战，其目的是通过在测试时动态预测每个模型的可修剪残差计算来加速动作扩散。然而，该范例中仍然存在两个瓶颈：1）重复的条件编码和剪枝抵消了最潜在的速度增益，2）从先前的去噪时间步长缓存的特征无法在极度稀疏的情况下限制大的剪枝误差。为了解决第一个瓶颈，我们设计了一个高度并行的推理管道，将非解码器延迟最小化到毫秒。具体来说，我们首先设计一个与扩散 Transformer 共享编码器的轻量级剪枝器。然后，我们通过并行处理所有去噪时间步，将编码和剪枝与自回归去噪循环解耦，并通过异步将剪枝器与解码器前向推理重叠。为了克服第二个瓶颈，我们引入了一种全向重用策略，该策略通过有选择地重用当前前向、先前去噪时间步长和早期采样轨迹迭代中缓存的特征来实现 95% 的稀疏性。为了学习采样轨迹级重用策略，我们采样了一些动作轨迹来逐步监督稀疏扩散。大量实验表明，我们的方法将 FLOP 减少了 92%，并将动作生成速度加快了 5 倍，以 47.5 Hz 的推理频率实现了无损性能。我们的代码可在 https://github.com/ky-ji/Test-time-Sparsity 获取。