论文

SwiftPie:通过一步扩散实现快如闪电的主题驱动图像个性化

SwiftPie: Lightning-fast Subject-driven Image Personalization via One step Diffusion

模型训练监督微调与指令调优

摘要

扩散模型在高质量图像合成方面取得了显着的成功,激发了人们对图像引导生成任务(例如主题驱动的图像个性化)的兴趣。尽管个性化结果令人印象深刻,但现有方法通常依赖于计算密集型 微调、迭代优化或多步去噪过程,这极大地阻碍了它们在实时应用中的部署和交互能力。在这项工作中,我们推出了 SwiftPie,这是第一个一步式扩散图像个性化工具,可以快速生成个性化图像。 SwiftPie 引入了一种新颖的双分支身份注入机制,可以有效地将主体身份集成到一步扩散模型中。此外,我们采用了掩模引导的重新缩放策略,以在单个扩散步骤中进一步增强主题情境化。大量实验表明,SwiftPie 不仅提供卓越的图像个性化速度,而且在身份保真度和提示对齐方面通过多步方法实现了可比的性能。这项工作为实时、高质量的个性化图像生成开辟了新的机会,为交互式视觉合成铺平了道路。