论文

ConceptWeaver:用流程编织解开的概念

ConceptWeaver: Weaving Disentangled Concepts with Flow

应用与实践内容创作

摘要

预先训练的基于流的模型擅长合成复杂的场景,但缺乏一种直接的机制来从一次性的现实世界来源中解开和定制其底层概念。为了揭开这个过程的神秘面纱,我们首先引入一种新颖的差分探测技术来隔离和分析单个概念标记随时间对速度场的影响。这项研究得出了一个重要的见解:生成过程不是单一的,而是分三个不同的阶段展开。初始的\textbf{蓝图阶段}建立低频结构,然后是关键的\textbf{实例化阶段},其中内容概念以峰值强度出现并自然解开,从而创建最佳的操作窗口。最后的概念不敏感细化阶段然后综合细粒度的细节。在这一发现的指导下,我们提出了 \textbf{ConceptWeaver},一种一次性概念解缠的框架。 ConceptWeaver 使用与三阶段框架相一致的阶段感知优化策略,从单个参考图像中学习概念特定的语义偏移。然后,通过我们新颖的 ConceptWeaver Guidance (CWG) 机制在推理过程中部署这些学习到的偏移量,该机制在适当的生成阶段战略性地注入它们。大量实验验证了 ConceptWeaver 能够实现高保真、组合合成和编辑,证明理解和利用流模型的内在、分阶段性质是解锁精确、多粒度内容操作的关键。