论文

超越面部一致性:具有整体身份保护的个性化人物图像生成

Beyond Facial Consistency: Personalized Person Image Generation with Holistic Identity Preservation

模型推理解码与生成控制

摘要

个性化人物图像的生成需要在局部面部细节和更广泛的外观线索中保留主体身份。现有方法通常只强调一个级别的身份信息,导致面部保真度和整体外观一致性之间存在固有的权衡。为了解决这个问题,我们首先提出一个简单的双分支基线,将全局外观控制和局部面部控制统一在共享生成框架内。这种不同分支的简单组合产生了有希望的结果,但由于不协调的分支贡献而在实践中遭受不稳定。为此,我们提出动态平衡缩放(DBS),这是一种用于改善面部和外观身份协调的 微调 策略。 DBS 由两个组件组成:自适应时间门控,它沿着去噪轨迹动态调节分支贡献;区域感知优化,可以改善面部、外观和全局监督的协调。这些设计共同缓解了持续存在的面部分支过度主导的问题,并鼓励更有效的外观感知指导。我们还推出了 Pexels-100,这是评估个性化人物生成中整体身份一致性的基准。实验表明,DBS 比现有开源基线在面部保真度和外观一致性之间实现了更好的权衡,同时为整体身份建模提供了可控的基础框架。