双速率扩散：利用交错的重光网络加速扩散模型

扩散模型实现了最先进的生成性能，但由于对重型神经网络的重复评估，在推理过程中计算成本很高。在这项工作中，我们提出了双速率扩散，这是一种通过交错执行重型大容量上下文编码器和轻型高效去噪模型来加速采样的方法。上下文编码器被稀疏地评估以提取高维特征，这些特征被光去噪模型在每一步中有效地重用，以有效地细化样本。这种方法在不影响样本质量的情况下显着加速了推理。在 ImageNet 基准测试中，双速率扩散与标准基线的性能相匹配，同时将计算成本降低了 2-4 美元。此外，我们证明我们的方法与 蒸馏 技术兼容，例如矩匹配 蒸馏，从而在几步生成中进一步提高效率。