VQActFlow：用于多任务机器人操作的矢量量化动作模式转向

从演示中学习多任务机器人操作策略具有挑战性，因为传统上单个网络必须从多模态演示分布中选择性质不同的动作模式，并以语言和视觉上下文为条件。错误的模式选择意味着执行错误的任务或场景中不可行的动作。将连续动作标记为学习的离散码本在表示级别上分离这些模式，为多任务学习提供结构优势。我们提出了 VQActFlow，这是一种多任务操作策略，可以对动作块进行标记并通过变分流匹配生成代码序列。 VQActFlow 在整个生成过程中保持对操作模式的明确偏好。推理时间指导根据这种偏好来引导模式承诺。我们通过对语言调节的无分类器指导来实例化这一点，该指导将策略引导至指示的行动模式，以及提供补充可行性信号的学习密码本批评家。我们在三个平台上评估 VQActFlow：LIBERO 模拟基准、执行全身拾放的 Unitree G1 人形机器人以及执行接触丰富任务的 ALOHA 式双手平台。在这些基准测试中，VQActFlow 的性能优于连续基准和离散基准。