论文

Nexus:使用整流流模型实现高效文本到图像生成的结构化协同

Nexus: Structured Synergy for Efficient Text-to-Image Generation using Rectified Flow Model

摘要

扩散和流匹配模型在文本到图像的生成方面取得了重大进展,但高计算量、二次复杂度和大内存占用阻碍了高分辨率合成和边缘部署。我们提出了 Nexus,它集成了稀疏架构、线性复杂度和低位量化。它结合了 MoE 前馈层、门控 DeltaNet 注意力和每专家低位训练,以减少计算和内存。它们的联合优化使 Nexus 能够实现与 SDXL 和 SD3 等主流模型相当的生成质量,同时提供显着更高的推理效率。在COCO和LAION上的实验验证了其有效性。