MoPA：通过子系统特定的感知对齐来协调移动操纵

移动操纵需要不同空间尺度的感知证据来进行基础运动和手臂控制，而两种动作模式保持运动学耦合。现有的策略通常为不同的子系统采用专门的动作生成，但将异构动作分支限制在共享的感知表示上，从而使子系统特定的感知动作对应隐式存在。我们提出了 MoPA，这是一个将感知调节与移动性和操作结合起来的框架，同时保持行动层面的协调。双感知流采用两个相互屏蔽的查询库从共享的视觉语言上下文中提取单独的感知表示。 Perception2Action Adaptation 在结构化 Mixture-of-Transformers 解码器的每一层联合更新每个查询库及其相应的操作流，同时实现两个操作流之间的信息交换。耦合条件流匹配学习联合向量场以协调生成两个动作块。在 ManiSkill-HAB 基准测试中，MoPA 在所有三个任务套件中都实现了最先进的性能。在四项现实世界任务中，MoPA 的平均完整任务成功率为 76.3%，比最佳基准高出 12.5 个百分点。消融研究和进一步分析验证了所提出设计的有效性。网站地址：https://mopa-policy.github.io/。