利用基础模型进行厨房机器人操作

在日常人类环境中部署机器人需要强大且能够适应多样化动态条件的感知系统。在这项工作中，我们提出了一个用于家庭操作任务的模块化感知管道，重点关注厨房环境中的餐具处理。该流程集成了开放词汇对象检测、多视图分割、实例感知 3D 重建以及用于 6D 姿态估计和抓取规划的 2D-3D 特征融合策略。其模块化设计能够系统地替换多个视觉和几何基础模型，使我们能够通过对定制厨房数据集的广泛评估来确定性能最佳的配置。性能最佳的配置（LLMDet + SAMv2 + DINOv2 + GeoTransformer）在杂乱和遮挡条件下的 20 场景厨房基准测试中实现了 89.12% 的 ADI。此外，现实世界的演示证实，最佳配置可以部署在物理机器人上，无需针对特定环境进行重新训练，成功执行水槽到洗碗机转移和杯子堆叠等任务。它验证了管道的适应性和可扩展性，并强调了其作为家庭机器人系统实用框架的潜力。我们的代码和补充材料可在 https://raivlab.github.io/FM_kitchen 获取。