论文
MAMHOI：通过功能可供性分解场景感知的人机交互
MAMHOI: Factorizing Scene-Aware Human-Object Interaction through Affordances
摘要
在复杂的 3D 场景中生成真实的人与物体交互 (HOI) 需要两种互补的功能：推理环境中交互的可行性以及合成真实的人与物体运动。然而，对这些能力的监管很少能大规模联合进行。人类场景数据集提供了有关环境感知运动的丰富信息，而人类物体数据集捕获了详细的交互动态，但配对的人类物体场景数据仍然稀缺。我们提出了 MAMHOI，一种用于场景感知人与物体交互生成的可供性介导的分解。 MAMHOI 通过场景理解和运动合成之间的显式运动可供性接口分解场景感知 HOI 的生成：场景条件模型首先预测在何处以及如何可行地执行交互，然后由可供条件条件的 HOI 模型生成相应的人体运动。这种因式分解允许从互补的监督源中学习场景理解和交互动态，而不需要配对 人体-物体-场景数据。在复杂室内环境中的实验表明，MAMHOI 减少了物体场景穿透，同时更好地保持了人与物体的交互质量，从而产生更真实、物理上可行的场景感知交互。项目页面：https://leimingyuan.github.io/MAMHOI-project-page/