有选择性地观察，自适应地行动：双手机器人操纵的双级结构分解

在双手机器人操作中，与任务相关的视觉信息随着任务阶段和环境的不同而变化，而两只手臂的交互在独立和协调模式之间切换，这使得策略学习具有挑战性。然而，现有的整体 VLA 策略通常处理多视图观察和不同的双手交互模式，而无需明确调整其视觉调节或动作生成结构。为了解决这个问题，我们提出了一种基于双级结构分解的双手操作VLA框架。视图选择性视觉路由器动态调整手腕视图贡献以强调相关的视觉提示，而交互感知动作混合专家将动作生成分解为协调和手臂方式的路径，以适应不同的双手交互模式。我们在 RoboTwin 2.0 中的六个模拟双手操作任务和三个长期现实世界任务上评估了所提出的方法。我们的模型在模拟中将整体平均成功率提高了 27.7%，在现实世界评估中提高了 43.3%，同时在两种设置中始终优于单模块变体。这些结果表明，联合考虑选择性视觉处理和双手交互结构的显式分解为稳健的双手操作提供了有效的归纳偏差。