论文

持久性强迫:利用像素空间扩散中的特征专业化

Persistence Forcing: Exploiting Feature Specialization in Pixel-Space Diffusion

模型架构新型架构

摘要

像素空间扩散变换器(DiT)直接对高维视觉数据进行操作,但它们的隐藏表示通常在深度上进行统一的细化。然而,自然图像本质上是以不同的粒度级别组织的。全局结构通常可以紧凑地表示,而局部纹理和精细细节则需要更丰富的表示。受此启发,我们在像素空间 DiT 中引入异构细化,为不同的特征组分配不同深度的细化预算。因此,出现了有序的特征专门化:稀疏细化的特征主要编码全局视觉结构,而更频繁细化的特征则越来越专门化于局部的高频细节。我们分别将这两组称为持久特征和活动特征。基于这种新兴的专业化,我们引入了持久性强制(PerF),它明确地利用这种持久性主动特征组织来生成像素空间图像。这使得持久特征能够持续调节主动细化的特征,从而允许稳定的全局信息来指导更精细的视觉细节的持续细化。在生成采样过程中,这种相互作用进一步产生有意义的指导方向,促进连贯的全局结构并自然地补充无分类器的指导。在 ImageNet $256\times256$ 上,PerF-L 在 ImageNet $256\times256$ 上实现了 $1.91$ 的 FID,仅用一半的参数就接近了 JiT-H $1.86$,而 PerF-H 在 ImageNet $256\times256$ 和 $512\times512$ 上进一步分别实现了 $1.63$ 和 $1.76$ 的 FID。