提示流程：开放世界交付操作的引导流程匹配策略

开放世界的货物运输需要移动操纵器遵循自由形式的用户指令并操纵潜在的新物体。现有的双系统方法使用高级基础模型将语言转换为基础视觉提示，但其低级控制器在噪声感知、动态场景和接触丰富的交互下仍然脆弱。相反，我们使用预训练的流程匹配视觉语言动作模型作为低级控制接口，利用其对环境变化的反应性和鲁棒性，同时将grounding输出视为政策指导的空间线索。我们的主要见解是，预训练的 VLA 已经提供了强大的先验操作，而空间线索则提供了在新语言（对象映射）下指导操作所需的缺失目标信息。具体来说，我们介绍了一种轻量级的提示调节适配器。适配器首先使用对比目标进行训练，以产生显着且具有空间辨别力的提示表示，然后进行监督以预测生成的动作块上的对角仿射变换，从而使策略引导与提示目标保持一致。在桌面和移动设备设置中，我们的方法提高了域内和域外对象的指令遵循和操作成功率，平均任务成功率提高了近 2 倍，而推理开销可以忽略不计。