EgoAlign：弥合人类与类人机器人之间的差距，实现远程局部操纵

摘要

以自我为中心的人类演示提供了一种可获取的任务经验来源，但身体尺度和控制器响应的差异以及缺少的机器人状态限制了它们作为人形训练监督的价值。我们提出了 EgoAlign，这是一个数据构建框架，可以将这些演示转换为与通用、连续全身控制器兼容的动作和状态监督，而无需收集物理机器人演示。使用目标机器人模型和模拟器，EgoAlign 通过执行反馈来指导演示收集。它保留了视觉引导的周期性步进的运动参考，同时通过比例对齐和控制器在环细化来调整上半身交互几何形状。最终的因果重播会重建相应的机器人状态和运动标记标签，以便根据人类观察进行训练。我们通过仅在适应的人类演示上微调视觉-语言-动作模型并将其零样本部署在物理人形机器人上来评估由此产生的监督。由此产生的策略执行远程对象重定位、导航到看不见的目标位置以及独立评估脚部交互。与单独的运动对准相比，细化提高了模拟手对准和物理拾取的成功率，而人工收集相对于远程操作减少了现场采集时间。 https://lambdahumanoid.github.io/EgoAlign/