OFA-扩散压缩：一次性压缩扩散模型

扩散概率模型（DPM）在图像生成方面取得了显着的性能，但其不断增加的参数大小和计算开销阻碍了其在实际应用中的部署。为了改善这一点，现有文献侧重于通过模型压缩获得具有固定架构的较小模型。然而，在实践中，DPM通常需要部署在具有不同资源限制的各种设备上，这会导致多个压缩过程，从而导致重复训练的巨大开销。为了避免这种情况，我们提出了一种用于 DPM 的一次性（OFA）压缩框架，该框架以一次性训练方式产生具有各种计算的不同子网络。现有的OFA框架通常涉及大量具有不同参数大小的子网络，而如此巨大的候选空间会减慢优化速度。因此，我们建议用一组特定的参数大小来限制候选子网络，其中每个大小对应于一个特定的子网络。具体来说，为了构建给定大小的每个子网络，我们根据重要性逐步分配维护的通道。此外，我们提出了一种重新加权策略来平衡不同子网络的优化过程。实验结果表明，我们的方法可以生成各种大小的压缩 DPM，同时显着降低训练开销，同时实现令人满意的性能。