SketchMate复用几何草图与工具测量实现零样本精密插入

插装此前未见的零件需要亚毫米精度和具有定向配合要求的结构特征的正确方向。当前基于视觉语言模型 (VLMs) 构建的零样本 Agentic 操作方法产生的空间输出对此来说过于粗糙。我们建议让 VLM 构建任务的草图模型，即一些几何基元和两个配合坐标系，VLM 代理利用几何工具在多视角深度数据中测量该模型，并由标准规划器和柔顺控制器执行。由于草图描述的部件与它们的位置无关，因此机器人每个任务只需构建一次。草图记忆存储每次智能体运行结果，并通过点云配准将存储的草图传输到以后的放置，以便仅针对不熟悉的零件调用 VLM。抓取零件后，机器人会近距离检查两个配合面，并通过形状匹配来修正草图。在 69 个模拟插装回合中，我们的方法在严格的运动学测试中以组装姿势插入了 88% 的零件，而具有相同 VLM 的 ReKep 和 MOKA 则没有插入任何零件。在八个任务的新摆放位置上，复用一次已存运行结果，能达到每回合都重新调用智能体时相同的零件插装数量，并且它会在 3.4 秒内生成草图，而不是大约 90 秒。