UNITY：用于扩散适应性调节的注意力流网络

我们推出了 UNITY，这是一种通用到专用的适配器，可在基于扩散的图像生成中实现高效且可扩展的复合调节。与之前为每种调节模式训练单独的适配器的方法不同，UNITY 联合学习跨多种调节类型的共享语义，然后在不修改底层架构的情况下进行专门化。所提出的两阶段训练范例包括一个通用阶段，该阶段使用总训练步骤的一半来捕获所有调节模式的跨模式表示，然后是一个专业化阶段，该阶段使用剩余的训练预算来细化模式特定特征。 UNITY 的核心是可变形注意力流 (MAF) 网络和 Morph Wrapper 模块，它们通过可学习的流场和基于注意力的融合实现通道感知和空间自适应特征对齐。这种恒定的复杂性公式支持在单一和复合条件设置下的灵活操作，同时显着减少推理延迟和内存消耗。跨多个数据集的大量实验表明，UNITY 实现了最先进的图像保真度，同时保持了卓越的内存效率。代码：https://github.com/arya-domain/UNITY