CoStream：为可推广的复杂操作组合简单的行为

长视野、接触丰富的复杂操作任务，例如将 GPU 插入 PCIe 插槽，需要毫米级高精度和开箱即用的新任务泛化能力。现有的范式很难满足这两点：经典管道使用脆弱的、特定于任务的接口来实现高精度控制，但需要昂贵的管道重新设计才能适应新任务，而单一的端到端策略提供了更好的泛化性，但在复杂的、非分布任务上缺乏高精度，除非使用新数据进行重新训练。这两种范式都有一个隐含的假设：一旦获得了操纵能力，就必须将其部署为刚性管道或整体，而不是自由分解和重组。在本文中，我们证明了复杂的操纵能力可以从简单、独立的行为的组合中自然地出现。我们提出了 CoStream，一个将基础模型和多种感知模式编排成多个可组合核心行为的框架，而不是部署单一的策略或严格的管道：通过基础模型提取空间约束的语义行为；通过跟踪想象视频中的关键点来预测行为轨迹；以及提供高频触觉和力校正的反应行为。在共享的 $SE(3)$ 接口上，这些输出通过右乘组合成每个控制步骤的单个位姿命令，由兼容的控制器执行。我们在涵盖日常操作和精密装配的 8 个现实任务中展示了 CoStream，在接触丰富的装配和对象传输方面取得了最大的进步，并在执行过程中展示了从手动扰动中的稳健恢复。网站：https://costream-simple.github.io