从单个图像进行人类交互感知 3D 重建

从单个图像重建纹理 3D 人体模型是 AR/VR 和数字人体应用的基础。然而，现有的方法主要关注单个个体，因此在多人场景中失败，其中个体重建的幼稚组合通常会导致伪像，例如不切实际的重叠、遮挡区域中的几何缺失以及交互扭曲。这些限制凸显了需要结合群体层面的背景和交互先验的方法。我们引入了一种整体方法，可以显式地对组级和实例级信息进行建模。为了减轻透视引起的几何扭曲，我们首先将输入转换为规范的正交空间。我们的主要组件，人类群体实例多视图扩散（HUG-MVD），然后通过联合建模个人和群体环境来生成完整的多视图法线和图像，以解决遮挡和邻近问题。随后，人类群体实例几何重建 (HUG-GR) 模块通过利用基于物理的显式交互先验来优化几何形状，以增强物理合理性并准确模拟人际接触。最后，多视图图像被融合成高保真纹理。这些组件共同构成了我们完整的框架 HUG3D。大量实验表明，HUG3D 的性能显着优于单人和现有的多人方法，可以从单个图像中对交互的人进行物理上合理的高保真 3D 重建。项目页面：https://jongheean11.github.io/HUG3D_project