EdgeDiT：硬件感知扩散 Transformer，用于高效的设备上图像生成

Diffusion Transformer (DiT) 在高保真图像合成方面建立了新的最先进技术；然而，它们巨大的计算复杂性和内存需求阻碍了资源有限的边缘设备上的本地部署。在本文中，我们介绍了 EdgeDiT，这是一个专为移动神经处理单元 (NPU)（例如 Qualcomm Hexagon 和 Apple 神经引擎 (ANE)）而设计的硬件高效生成 Transformer 系列。通过利用硬件感知优化框架，我们系统地识别和修剪 DiT 主干内的结构冗余，这些冗余对于移动数据流来说尤其繁重。我们的方法产生了一系列轻量级模型，在不牺牲原始 Transformer 架构的扩展优势或表达能力的情况下，参数减少了 20-30%，FLOP 减少了 36-46%，设备上延迟减少了 1.65 倍。广泛的基准测试表明，与优化的移动 U-Net 和普通 DiT 变体相比，EdgeDiT 在 Frechet 起始距离 (FID) 和推理延迟之间提供了卓越的帕累托最优权衡。通过直接在设备上启用响应式、私有和离线生成式 AI，EdgeDiT 提供了一个可扩展的蓝图，用于将大规模基础模型从高端 GPU 转移到用户的手掌上。