论文
HIGenNTO:通过噪声空间轨迹优化生成可扩展的人形交互
HIGenNTO: Scalable Humanoid Interaction Generation via Noise-Space Trajectory Optimization
摘要
人形机器人可以通过模仿运动学人形运动参考来获得复杂的技能,但仍然难以获得丰富接触交互的可靠参考:运动捕捉在遮挡和紧密物理接触下会恶化,而重新定位会引入额外的接触和几何不一致。我们提出了 HIGenNTO,一个框架,通过在稀疏时空和场景约束下优化预训练文本条件运动模型的初始噪声来合成人形场景交互运动参考。相同的公式满足所需的接触,避免碰撞,并保持稳定的支撑,同时保留先验的真实性和时间连贯性,从头开始生成交互运动并分阶段组成长视野行为。在机器人环境和机器人物体任务中,HIGenNTO 产生的运动可以通过跟踪模拟中的策略来执行,并用于训练仅通过机载传感操作的深度条件视觉运动策略。我们在 Unitree G1 上跨四个接触丰富的任务部署这些策略。最后,任务规范本身可以由编码代理编写,编码代理提出交互任务并将它们编译成提示、约束和场景程序,创作我们八个评估任务中的三个和四个进一步的行为。这些结果共同建立了一条从高级任务描述到物理上可执行的人形交互的可扩展路径。