MakeupMirror：改善化妆转移扩散模型中的面部属性保留

化妆转移模型可实现有趣的增强现实 (AR) 体验以及在线化妆购物的虚拟试妆 (VTO)。虽然最近最先进的基于扩散的解决方案（例如稳定化妆）极大地提高了化妆转移的准确性和真实性，但它们仍然面临身份和肤色保留方面的限制，使得用于化妆品购物的生产级 VTO 不切实际。在这项工作中，我们提出了 MakeupMirror，一种基于扩散的化妆转移方法，在保留面部特征和肤色方面取得了重大进展。我们介绍了稳定化妆的几项技术创新：（1）将面部几何调节与 ControlNet 集成以保持面部保真度； （2）区域特定化妆传输控制，实现皮肤、眼睛、嘴唇等面部区域的精确化妆； (3)基于肤色的化妆传输调制，防止跨主体传输场景中的肤色改变； (4) 集成 Levenberg-Marquardt Langevin 采样器，以加快推理速度，同时保持生成质量。我们在 CPM-Real、Makeup Wild 和（这里新收集的，更多样化）MakeupSelfies 数据集上的实验表明，MakeupMirror 将相对面部识别相似度提高了 +60%，相对肤色差异比 Stable-Makeup 降低了 -50%，延迟为 0.7 秒，同时在核心面部身份保留标准上实现了 94% 的专家接受率。