论文

GigaBrain-WBC-0.5:用于与环境交互的鲁棒人形全身跟踪的行为世界模型

GigaBrain-WBC-0.5: A Behavior World Model for Robust Humanoid Whole-Body Tracking with Environment Interaction

摘要

通用运动跟踪器使人形机器人能够在保持平衡的同时跟踪不同的全身运动,但只能在平坦的地面上进行训练,无法在复杂地形上利用双足移动性。与此同时,跨地形控制器是特定于任务的或仅接受低维运动命令。我们推出了 InterTrack,这是第一个行为世界模型 (BWM),用于通过环境交互进行稳健的全身跟踪。其Transformer联合预测下一个动作、状态和行为分布,学习环境条件动态。为了缩放交互训练数据,自动注释管道根据重新定位的运动重建 3D 支持几何形状。在部署时,该策略以“尽力而为”的方式处理当前环境中不合理的命令。从数量上看,InterTrack 在地形交互方面实现了 81.3% 的成功率(最佳评估基线的 4.3 倍)和 99.3% 的跌倒恢复率,同时还改进了自由空间跟踪,并在所有这些情况下优于三个领先的跟踪基线。据我们所知,我们首次演示了人形机器人上的实时跨地形全身远程操作,以及对象交互、对缺失支撑的稳定响应以及从跌倒中的稳健恢复。