论文

JointHOI:联合生成接触图增强手部对象交互生成

JointHOI: Jointly Generating Contact Maps Enhances Hand Object Interaction Generation

应用与实践内容创作

摘要

文本驱动的手部对象交互(HOI)生成正在引起沉浸式应用和机器人技术的关注,但产生物理上合理的交互仍然具有挑战性。即使个别运动看起来很自然,微小的接触错误也可能导致明显的伪影,例如浮动和相互渗透。现有方法使用显式接触线索或隐式掌握先验来缓解这些问题,但通常依赖于多阶段管道,并且无法对随时间变化的接触进行建模。我们提出了 JointHOI,这是一个单阶段扩散框架,可以从文本中联合生成 3D 手部物体运动和基于距离的动态接触图。通过将接触视为辅助内部模态,关节生成使模型能够在训练期间学习接触运动耦合。在推理时,接触引导采样增强了生成的接触图和运动隐含几何图形之间的一致性,从而提高了时间稳定性并减少了穿透和浮动。 GRAB 和 ARCTIC 上的实验表明,与之前的方法相比,文本依从性和物理合理性得到了持续改进。