论文

FreeStyle:自由控制社区 LoRA 挖矿的样式内容双参考生成

FreeStyle: Free Control of Style-Content Dual-Reference Generation from Community LoRA Mining

模型训练合成数据

摘要

风格内容双参考生成旨在合成一个保留内容参考的结构和语义的图像,同时采用单独的风格参考的风格。尽管最近取得了进展,但这种设置仍然具有挑战性,因为模型必须平衡内容保真度、风格对齐和遵循指令以避免风格参考的语义泄漏。一个关键瓶颈是缺乏具有干净的内容风格分离和广泛的长尾风格覆盖的大规模三元组数据。在这项工作中,我们提出了 FreeStyle,一种基于社区的可扩展双参考生成框架LoRA 挖掘。我们将社区 LoRA 视为风格和内容的组合锚点,并设计严格的生成和过滤管道,以跨多个基础模型构建大规模的风格参考和内容参考三元组。为了解决内容泄漏问题,我们采用了具有特定于阶段的解开机制的两阶段课程:在风格转移阶段抑制风格参考泄漏的注意力水平富集约束,以及针对风格转移阶段基于位置对应的泄漏的频率感知 RoPE 调制策略。更难的双参考阶段。我们还引入了一个涵盖风格参考和双参考生成的基准,对风格相似性、内容保留、美观、指令遵循和泄漏拒绝进行评估。该基准测试结合了风格不变的内容对齐分数(CAS),并引入了基于 VLM 的校准拒绝分数,用于评估生成可靠性和泄漏抑制。大量实验表明,我们的模型在风格对齐、内容保留和泄漏抑制之间实现了强大的平衡。