UniWAM 技术报告：通过混合流世界动作建模和操纵锚姿势监督实现统一移动操纵

移动操纵需要精确导航到操纵就绪姿势，然后进行可靠的对象交互。这两个阶段的行动空间和视觉要求不同，这使得统一的政策学习变得复杂。此外，通过明确的操纵就绪姿势监督来收集各种现实世界的导航数据仍然成本高昂且难以扩展。我们引入了 UniWAM，这是一个统一的混合流世界动作模型，具有单独的动作编码器和用于导航和操作的输出头，共享一个公共主干。该设计支持独立采样的导航和操作数据的联合表示学习。 UniWAM 支持任一流的独立推理和两者的批处理并行推理。我们进一步引入了操纵锚姿势（MAP）监督，以了解在哪里停止以及如何定向操纵。自动化管道根据大规模 3D 场景构建 MAP 数据，产生超过 150 万集和 7,500 小时。 MAP-Data 提供每帧目标对象边界框和图像平面 MAP 坐标作为辅助导航监督。与用于操纵的预计末端执行器轨迹一起，这些预测目标为从自我中心观察中进行动作学习提供了特定于流的图像平面监督。凭借大规模 MAP 数据，UniWAM 的相比MAP-Bench上最强外部基线，位置误差降低30.1%，航向误差降低44.0%。在24个真实机器人任务中，UniWAM在MAP导航和移动操控方面取得了领先的成果，具有具有竞争力的操控性能。我们已经发布了代码、数据和基准。