论文
忠于原点:平滑过渡的连续图像风格化
Staying True to the Origin: Continuous Image Stylization with Smooth Transitions
摘要
生成模型的最新进展在文本和图像条件编辑方面取得了显着的性能。然而,在保留给定图像的内容的同时引用另一图像的风格模式仍然具有挑战性,通常会导致无法控制的风格化结果。在本文中,我们从连续控制的角度来处理图像风格化,旨在使基于现代 Diffusion Transformer (DiT) 的多参考编辑模型能够 (1) 忠实地保留内容图像的语义结构,(2) 呈现强大的风格化效果,以及 (3) 两者之间的平滑过渡。为此,我们提出了一种简单而有效的两阶段训练策略以及风格强度感知样条公式。具体来说,在第一阶段,模型经过训练以产生强烈风格化的输出,同时尽可能保留内容语义。在第二阶段,在基本模型冻结的情况下,我们学习一组锚投影仪,将各种风格化强度映射到模型参数空间。在推理过程中,通过在低秩空间中执行风格强度感知样条插值,我们的方法可以连续控制风格化强度,即使模型仅使用几个离散强度级别进行训练。大量实验表明,我们的方法支持精确、连续地操纵风格化强度,同时使用现代 DiT 模型生成高保真结果。项目页面:https://reychiaro.github.io/StyleController。