TMP：用于大规模图像生成和编辑的树结构混合策略修剪

现代图像生成模型的尺寸迅速增长，以满足高保真图像合成的需要。然而，由于巨大的参数消耗和计算预算，导致大量的资源需求和 GPU 内存占用，它们逐渐变得难以承受。在本文中，我们提出了 TMP，这是第一个树形结构混合策略修剪框架，它概括了流行的图像任务（T2I 和 TI2I）和架构（Mixture-of-Experts (MoE) 和 Diffusion Transformer (DiT)）。它可以应用于逐步蒸馏模型并作为最后阶段做出贡献。我们在当前开源的SOTA HunyuanImage-3.0指令和流行的高效模型Z-Image Turbo上进行了实验。所提出的剪枝框架设法以 75% 的压缩率将 HunyuanImage 3.0 从 80B 参数压缩到 20B 参数，牺牲了有限的生成质量。我们还通过工程技术进行优化，以在单个 24GB 4090 GPU 上实现 HunyuanImage 3.0 修剪后的 20B 版本的推理。推理脚本和模型权重已集成到现有的HunyuanImage3.0开源github和huggingface存储库中。此外，我们通过将 Z-Image Turbo 从 6B 压缩到 4B（减少 33%）来证明 TMP 的功效，并且降级可以忽略不计。