通过限制不安全信息流在多模态扩散中统一安全上下文图像生成 Transformer

配备多模态注意力（MM-Attn）的扩散Transformer（DiTs）已成为图像生成的主导范例。然而，防止有害内容的生成仍然是一个严峻的挑战，特别是在图像到图像 (I2I) 编辑任务中。现有的安全机制主要是为文本到图像（T2I）合成或基于 U-Net 的架构而设计的，这限制了它们在基于 DiT 的框架中统一安全缓解的有效性。为了弥补这一差距，我们提出了统一视觉安全调节器（UVR），这是一个 无需训练 安全生成框架，用于调节生成图像中的不安全语义。 UVR 的基础是从 MM-Attn 信息流的角度对注意力动态进行分析。我们确定了一个与任务无关的启动阶段，在此阶段，输出补丁中的不安全语义迅速出现并可以准确定位，然后是特定于任务的语义放大和干扰阶段，其中有害信号进一步传播并与良性内容纠缠在一起。基于这些观察，UVR 通过统一、有针对性的注意力调节和明确限制已识别的不安全输出补丁上的有害信息流来减轻不安全的产生。各种概念的实验表明，UVR 在图像合成和编辑任务中实现了 91% 和 77% 的擦除率，从而实现了最先进的安全性能，同时以最小的退化保持了视觉质量和保真度。代码可在 https://github.com/deng12yx/UVR 获取。