论文
从人类数据中学习人形导航
Learning Humanoid Navigation from Human Data
摘要
我们推出了 EgoNav 系统，该系统使人形机器人能够通过完全学习 5 小时的人类步行数据来穿越不同的、看不见的环境，无需机器人数据或微调。扩散模型根据过去的轨迹预测合理的未来轨迹的分布，融合颜色、深度和语义的 360 度视觉记忆，以及来自冻结的 DINOv3 主干的视频特征，捕捉深度传感器不可见的外观线索。混合采样方案通过 10 个降噪步骤实现实时推理，后退水平控制器从预测分布中选择路径。我们通过离线评估来验证 EgoNav，它在避免碰撞和多模式覆盖方面优于基线，并通过在 Unitree G1 人形机器人上跨看不见的室内和室外环境的零射击部署来验证 EgoNav。等待门打开、在人群中穿行、避开玻璃墙等行为都是从先前学到的知识中自然产生的。我们将发布数据集和训练模型。我们的网站：https://egonav.weizhuowang.com