沙丘社区
论文

TRACE：针对无需训练扩散风格转移的时间自适应剩余注意力控制和内容风格分解

TRACE: Time-Adaptive Residual Attention Control with Content-Style Decomposition for Training-Free Diffusion Style Transfer

Duc Khoan Le; Kim Ngoc Tran; Minh Nhat Le; Thanh An Tran; Viet Toan Nguyen; Khanh An Lay; Tran Thai Son; Hoang Pham Minh
应用与实践内容创作

摘要

参考引导的风格转移旨在保留内容图像的语义结构，同时转移风格参考的视觉外观。最近的基于扩散的方法通过利用强大的预训练生成先验实现了令人印象深刻的风格化质量。然而，无需训练方法仍然面临风格保真度、内容保留和内容泄漏之间的困难权衡。直接风格注入可能会无意中从风格图像中转移语义内容，而固定指导计划通常会忽略扩散采样的时间和状态相关性质。为了解决这些限制，我们提出了 TRACE，一种具有时间自适应残余注意力控制和内容风格分解的无需训练扩散风格传输框架。 TRACE 首先执行基于 CLIP 的离线子空间分析，以将内容和风格方向与配对数据分开。在推理过程中，它从样式引用中删除与内容相关的组件，并从内容引用中删除与样式相关的组件，以减少泄漏。然后，它通过残余交叉注意力注入风格信息，并应用不确定性感知指导来适应每个去噪步骤的指导信号。实验表明，TRACE 在风格化和保存之间实现了有利的权衡。与基于最佳控制的基线相比，TRACE 显着提高了风格保真度（+17.28 CSD 和+34.10 SRA）。同时，与风格化方法相比，它更好地保留了内容结构（+12.80 DINO、+5.52 CLIP-I 和 -8.19 LPIPS），并将 DCL 中的定向语义泄漏减少了 29.5%。我们的代码可在 https://github.com/pixelchemy-research/TRACE. 上公开获取

TRACE：针对无需训练扩散风格转移的时间自适应剩余注意力控制和内容风格分解的原论文方法或结果图
图 1：我们的方法概述 (TRACE)。 TRACE 首先在离线阶段从成对的 CLIP 嵌入中学习内容和风格子空间。在推理过程中，它通过子空间投影清理内容和风格表示，通过残余风格注入注入清理后的风格信号，并应用不确定性感知的时间相关指导来控制反向扩散轨迹。附录 0.B.2 中提供了详细的 TRACE 采样算法。