论文

CLeaR:解决风格转移中泄漏-降解困境的统一框架

CLeaR: A Unified Framework for Resolving the Leakage-Degradation Dilemma in Style Transfer

应用与实践内容创作

摘要

样式迁移旨在以参考图像的样式呈现目标内容,但现有方法经常遭受内容泄漏的问题,其中来自样式参考的对象、布局或语义出现在生成的输出中。尽管先前的数据驱动和免训练方法可以减少泄漏,但它们经常面临泄漏降级困境:更强的内容抑制可能会削弱风格保真度,而更丰富的风格保留可能会重新引入不需要的参考内容。我们在整个风格转移管道中发现了这种困境,包括特征分离、特征空间基础和扩散生成。为了解决这些问题,我们提出了 CLeaR,一种用于防内容泄漏样式传输的免训练框架。 CLeaR 首先使用正交子空间投影在每个视觉基础模型 (VFM) 特征空间中定义内容缩减的风格目标。然后,它执行集成反演,优化共享像素空间样式锚点,满足跨多个 VFM 的样式约束。最后,能量引导校准通过将去噪轨迹转向集成定义的风格流形,在扩散采样期间保持风格对齐。我们进一步提供了理论分析,表明样式锚估计误差随着 VFM 数量的增加而减小。 StyleBench 上的实验表明,与现有方法相比,CLeaR 改善了风格对齐,减少了内容泄漏,并实现了更好的 LLM-as-Judge 评估。该代码可在 \href{https://github.com/0606zt/CLeaR}{https://github.com/0606zt/CLeaR}. 获取