Cortex 2.0：在现实世界的工业部署中奠定世界模型的基础

工业机器人操纵需要跨实施例、任务和不断变化的对象分布的可靠的长视野执行。虽然视觉-语言-行动模型已经表现出很强的泛化性，但它们从根本上仍然是反应性的。通过根据当前观察来优化下一步行动而不评估潜在的未来，它们对于长期任务的复合失败模式来说很脆弱。 Cortex 2.0 通过在视觉潜在空间中生成候选者的未来轨迹，对它们的预期成功和效率进行评分，然后仅向得分最高的候选者做出承诺，从反应性控制转变为计划和行动。我们在单臂和双臂操纵平台上评估 Cortex 2.0，涵盖四个日益复杂的任务：拾取和放置、物品和垃圾分类、螺丝分类和鞋盒拆包。 Cortex 2.0 始终优于最先进的视觉-语言-动作基线，在所有任务中取得最佳结果。该系统在以严重混乱、频繁遮挡和接触丰富的操纵为特征的非结构化环境中仍然可靠，在这些环境中，反应性策略会失败。这些结果表明，基于世界模型的规划可以在复杂的工业环境中可靠地运行。