论文
当几何对齐时:UNet、ViT 和 DiT 架构中的二面隐藏状态变换
When Geometry Aligns: Dihedral Hidden-State Transformations in UNet, ViT, and DiT Architectures
摘要
扩散架构现在包含卷积 UNet 以及基于 Transformer 的设计,例如受 Vision Transformer (ViTs) 启发的扩散 Transformer (DiTs),但这些架构中结构化几何扰动的影响仍然知之甚少。我们通过一个统一的框架来研究这个问题,该框架将二面体群的基于反射的元素应用于中间隐藏状态作为受控的内部干预,对比几何一致和不一致的变体。使用激活级诊断,包括自一致性偏移 (SCS)、激活质量散射 (AMS) 和漂移,我们分析特征稳定性和几何漂移。我们发现一致的转换可以提高稳定性,而不一致的转换会导致可预测的、特定于架构的故障。在主要的稳定扩散 2.1 U-Net 研究中,我们评估了三种种子的七种干预模式,并通过图像级 FID、KID、CLIP 评分和 LPIPS 多样性补充内部诊断。结合支持 ViT 和受控 DiT 分析,这些结果将几何一致性确立为空间结构化视觉和扩散模型中稳定隐藏状态干预的关键原则。