ManiSkillFormer：通过任务条件几何契约进行免演示组合操作

让机器人操作适应新的物体和任务通常需要额外的演示、策略微调或手动工程。可重复使用的操作技能可以减少这种工作量，但将其执行要求与特定于场景的几何体连接起来仍然具有挑战性。我们提出了 ManiSkillFormer，这是一个无需演示的组合操作框架，通过显式几何契约将感知和行动联系起来。基于可重用的技能模式，LLM 代理生成指定每种技能所需的几何基元的合约，以及语义对象和任务上下文的相应运动模板。这些合约引导感知模块从观察中获取与任务相关的 3D 几何图形，然后用于实例化技能库中的可重用运动模板。我们在双臂机器人上对 ManiSkillFormer 进行了评估，包括来自 8 个对象类别的 30 个实例的免演示拾取和放置、功能操作（包括旋开、倾倒、按压和折叠）以及三个长期任务。 ManiSkillFormer 在拾取和放置方面的平均成功率为 88.97%，在功能操作方面的平均成功率为 75.00%，在长期任务中的完成率为 50--80%，优于评估的基线和两个消融的管道。这些结果证明了显式几何契约在支持跨对象和任务的技能重用和组合方面的潜力，而无需针对每个对象进行策略微调或额外的机器人演示。