论文

HairPort:上下文中的 3D 感知头发导入和图像传输

HairPort: In-context 3D-aware Hair Import and Transfer for Images

应用与实践内容创作

摘要

在图像之间转移发型是计算机图形学、计算机视觉和视觉效果中一项重要但具有挑战性的任务。它使用户能够在虚拟试穿系统、增强现实和娱乐领域的应用中探索新的造型,而无需改变自己的头发。大多数先前的作品在较小的姿势间隙下效果最好,但在较大的视点和尺度差异下效果不佳,其中缺失的头发内容必须合成而不是转移。我们提出了 HairPort,一个 3D 感知的发型转移框架,试图通过明确地将脱毛与转移分开并在合成前强制几何一致性来解决这些问题。我们引入了秃头转换器,它通过基于 LoRA 的 FLUX.1 Kontext 上下文适应来生成逼真的秃头版本。为了训练我们的秃头转换器,我们引入了一个新的数据集 Baldy,其中包含 6,000 张配对的秃头图像和原始图像,涵盖不同的身份和条件。我们还使用 3D 感知传输管道,在将参考发型合成到源图像上之前,从目标视点重建并重新渲染参考发型。由于具有 3D 感知能力,我们的方法支持源和目标之间存在较大的姿势和比例差异。最后,条件流匹配生成器综合来自秃头源和几何对齐参考引导的传输结果。总之,我们的方法能够实现准确、姿势一致且保留身份的发型转移,在质量和数量上都优于现有方法。