DuSPiT：双分支子补丁像素扩散 Transformer

Diffusion Transformer 实现了强大的图像生成性能，但大多数在压缩的潜在空间中运行。像素空间扩散避免了这种信息丢失，但现有方法将每个原始图像块映射到单个标记，迫使一种表示处理全局通信和细粒度细节。我们通过提出一种新的架构 \textbf{DuSPiT} 来解决这个问题，它是一个 \textbf{Du}al-branch \textbf{S}ub\textbf{P}atch \textbf{Pi}xel \textbf{T}ransformer。该模型将全局结构推理与局部外观建模分开。 DuSPiT 使用紧凑的基础分支进行高效的全局推理，并使用并行的高容量像素分支，组织成子补丁组，以保留详细的外观，两个分支通过交叉注意力进行交互。我们的结果表明，DuSPiT 生成的图像具有更丰富的细节和更强的细粒度结构，同时还实现了比先前的像素空间扩散 Transformer 更好的质量-效率权衡。