论文

SafeStyle:经过校准的风格残留注入,用于扩散风格化中可控的风格泄漏权衡

SafeStyle: Calibrated Style Residual Injection for Controllable Style-Leakage Trade-off in Diffusion Stylization

模型推理解码与生成控制

摘要

参考引导扩散风格化旨在从参考图像转移视觉风格,同时保留文本提示指定的语义。然而,图像调节经常将可转移的风格线索与参考特定的内容纠缠在一起,导致固有的权衡:更强的调节可以提高风格保真度,但会增加内容泄漏,而积极的抑制会以风格表达为代价来减少泄漏。由于纹理和几何主导风格的独特空间组织使这一挑战变得更加复杂。为了解决这些问题,我们提出了 SafeStyle,这是一种无需训练的框架,用于在冷冻扩散模型中校准样式残留注射。 SafeStyle 首先从紧凑的校准集中估计样式支持和内容相关的子空间,保留其信息重叠,同时抑制无用的内容变化。然后,它在自适应空间粒度上传输纯化的风格证据,并通过显式的残差规范预算限制其有效影响。跨纹理和几何主导样式的实验表明,SafeStyle 的 DINO 样式相似度达到 0.432,同时保持有竞争力的文本对齐。在语义不相交的泄漏压力基准上,它进一步实现了 0.474 的 DINO 风格相似度,语义泄漏仅为 0.8%,证明了风格保真度和参考内容抑制之间的有效平衡。