论文
一对二行动:将单臂代理行动扩展到双臂的新颖框架
One-to-Two Acting: A Novel Framework for Single-arm Agent Action Expansion to Dual Arms
摘要
双臂操作可以通过并行执行来提高吞吐量,但收集双手演示进行训练既昂贵又困难。我们提出了 ExS2D,这是一个分层动作扩展框架,可以通过单臂监督实现双臂操作。 ExS2D 首先根据文本指令生成结构化子任务,同时显式捕获时间优先级。然后,它通过观察中子任务引导的动作映射将每个子任务转化为可执行的动作。最后,由多模式 大语言模型 驱动的协调器执行优先级感知动作分配和同步规划,以选择无冲突双臂执行。仿真实验表明,ExS2D 将平均执行步骤减少了 54.4%,同时保持与单臂基线相当的成功率。四项任务的真实机器人实验进一步证明了 ExS2D 在少量单臂样本下双臂执行的可靠性,同时使用零双手演示。