Cortex：用于长视野操纵的双向对齐实体框架

虽然最近的视觉-语言-行动（VLA）模型显示出对通用操纵政策的希望，但由于其马尔可夫性质（仅依赖于当前的观察），它们在长期任务中遇到了困难。分层双系统方法解决了这个问题，但存在高级规划语义和低级执行运动学之间的差距。我们引入 Cortex，这是一个双向对齐的实体代理框架，具有定制的规划接口，可将可执行且易于处理的子任务计划从高级 VLM 传递到底层VLA。具体来说，我们将操作子任务标准化为 32 个规范技能原语，并将易处理原则（例如代表性对象属性和改进的轨迹可达性）注入数据生成管道中。这使得能够自动注释超过 4000 小时的开源视频数据并生成 30 小时的模拟数据。我们进一步设计了一种事件平衡采样策略，为 微调 框架构建训练数据，以更好地处理子任务转换期间的规划模糊性，并通过精心设计的从任务上下文到推理过程中技能约束的控制工程来增强。开环 VLM 和闭环系统评估都证明了 Cortex 的功效，例如，它在 Libero-long 上优于整体基线 3.1%，在 RoboTwin 上优于整体基线 4.1%。值得注意的是，Cortex 的多面手 VLM 通过简单地与微调的 VLA 相结合，可以零次完成现实世界中看不见的长期任务，例如多阶段化学实验，这是单独通过 VLA 微调 无法实现的功能。