通过混合预训练的模块化控制器实现与对象交互的动态全身运动代理

生成人与物体交互 (HOI) 的物理上合理的动态运动仍然具有挑战性，主要是由于现有的 HOI 数据集仅限于静态交互，而预训练的智能体能够进行没有物体的动态全身运动或静态 HOI 运动。最近的作品，如 InsActor 和 CLoSD 在规划和执行阶段生成 HOI 运动，但仅限于静态或短期接触，例如引人注目。在这项工作中，我们提出了一个框架，通过在规划和执行阶段结合预先训练的运动先验和模仿代理，来实现动态和长期的交互运动，例如拿着桌子跑步。在规划阶段，我们使用预先训练的人体运动扩散模型的动态先验来增强 HOI 数据集，然后生成对象轨迹。这计划了动态 HOI 序列。在执行阶段，作曲家网络混合了专门针对动态人体动作或静态 HOI 动作的预训练模仿代理的动作，从而实现了其互补技能的时空组合。与相关现有技术相比，我们的方法持续提高成功率，同时保持动态 HOI 任务的交互。此外，将经过预训练的专家与我们的作曲家相结合，可以显着减少训练时间，从而实现有竞争力的表现。消融研究验证了我们的增强和作曲家混合的有效性。