论文

CASD:用于多阶段机器人操作的块对齐语义 蒸馏

CASD: Chunk-Aligned Semantic Distillation for Multi-StageRobot Manipulation

摘要

操作块可以跨越操作任务的多个阶段,但其第一步的标签仅描述当前阶段。我们引入了块对齐语义 蒸馏 (CASD),它为整个动作块导出语义目标。离线视觉语言模型将演示分为所描述的阶段。它们在每个动作块中的占据确定了加权语义目标,包括阶段之间的转换。 CASD 生成器学习根据当前观察、机器人状态和任务指令来预测该目标。然后我们冻结生成器并根据其预测训练策略。语义分支每个策略查询运行一次,无需在线 VLM 调用或推理跟踪解码。对于单阶段和跨边界块,教师对带注释的 LIBERO 训练集进行匹配的可能性都高于机会。我们通过四个基准评估了三个 Fast-WAM 变体和 DreamZero 集成,包括 LIBERO-Plus 上的分布变化。与已发表的参考文献相比,IDM+CASD 达到 98.9%,而 LIBERO 上的平均成功率为 98.0%,而 Uncond 低于其参考文献。 Joint+CASD 达到 93.0%,而 RoboTwin 2.0 为 90.6%,DreamZero+CASD 四类 MolmoSpaces 操纵平均值为 47.9%,而 RoboTwin 2.0 为 40.7%。不同骨干集成的性能各不相同。