HarmoHOI：协调外观和 3D 运动，实现多视图手-物体交互合成

手-物体交互（HOI）合成是动画制作和具体人工智能的基石。尽管视频基础模型具有很强的先验，但由于复杂的手部运动和遮挡，多视图一致的 HOI 合成仍然具有挑战性。我们提出了 HarmoHOI，这是一个统一的扩散框架，可以共同和谐地生成同步的多视图 HOI 视频和全局对齐的 3D 点轨迹。我们的核心见解是，强大的多视图一致性从根本上需要全局对齐的 3D 几何和运动。为此，我们提出了一种多视图扩散混合 Transformer，它对 RGB 视频和 3D 点轨迹进行联合建模。通过将点轨迹表示为伪视频，我们将 3D 几何信号与基础模型的 2D 潜在空间对齐，从而最小化域间隙并简化先验的适应。为了进一步确保几何一致性，我们引入了全局运动对齐扩散，它将粗点轨迹细化为公制尺度、全局对齐的 3D 轨迹。 HarmoHOI 可在降噪过程中实现 2D 外观和 3D 运动的动态协同进化。为了克服多视图 HOI 数据的稀缺性，我们采用混合数据课程学习策略，成功地将通用先验从单视图数据转移到同步多视图生成。实验结果表明，HarmoHOI 在视觉质量、运动合理性和多视图几何一致性方面实现了最先进的性能。项目页面位于 https://droliven.github.io/HarmoHOI_project。