论文
InsHuman:迈向自然且保留身份的人类插入
InsHuman: Towards Natural and Identity-Preserving Human Insertion
摘要
人类插入旨在将特定个体自然地置于目标背景中。尽管现有的图像编辑模型可能具有这样的能力,但它们经常会产生失败案例,包括新背景下的人体姿势不合适、人数不一致以及面部身份修改等。此外,公开的人体数据集通常缺乏全身肖像以及人类与其背景之间的真实物理交互。为了应对这些挑战,我们提出了 InsHuman 用于自然且保留身份的人类插入。具体来说,我们提出了人类-背景自适应融合(HBAF),它检测前景人类以获得二元掩模,并应用区域感知权重来对齐预测和 真值 潜伏之间的人类区域,确保人的姿势、计数和整体外观一致地适应目标背景。我们进一步提出面对面 ID 保留(FFIP),它在生成的图像和源图像之间检测和匹配人脸此外,我们提出了双向数据配对(BDP)策略来构建 BDP-InsHuman,这是一个具有真实人类背景交互的高质量数据集。实验表明,InsHuman 在生成可信图像方面取得了显着改进,同时保持了人类身份不变。