通过多智能体情境学习进行双手机器人操作

大语言模型 (LLM) 已成为用于具体控制的强大推理引擎。特别是，情境学习 (ICL) 使现成的纯文本 LLM 能够预测机器人动作，而无需任何特定于任务的训练，同时保留其泛化能力。将 ICL 应用于双手操作仍然具有挑战性，因为高维关节动作空间和严格的臂间协调约束迅速淹没了标准上下文窗口。为了解决这个问题，我们引入了 BiCICLe（双手协调上下文学习），这是第一个使标准 LLM 能够在没有 微调 的情况下执行少量双手操作的框架。 BiCICLe 将双手控制视为多智能体领导者-跟随者问题，将动作空间解耦为顺序的、有条件的单臂预测。通过对 TWIN 基准的 13 项任务进行评估，BiCICLe 的平均成功率达到 70.5%，比最好的 无需训练 基线高出 6.1 个百分点，并超越了大多数监督方法。我们还在 3 项任务上展示了卓越的现实性能，无需针对特定硬件进行重新训练。项目页面位于 https://alesspalma.github.io/bicicle