论文

连接语义和物理执行:多对机器人装配的神经符号框架

Bridging Semantics and Physical Execution: A Neuro-Symbolic Framework for Multi-Pair Robotic Assembly

摘要

非结构化环境中的多对机器人装配面临空间干扰和接触不确定性。现有的范式无法弥合认知决策和物理执行,因为它们要么遇到状态空间爆炸和知识瓶颈,要么遭受逻辑幻觉和拓扑冲突。我们提出了一种端到端的神经符号框架,可以分层解决这一挑战:为每对生成最佳子图,将通用性与边缘情况解耦,然后解决交叉对干扰。给定一个肉眼可见的 RGB-D 装配场景,该框架提取语义实例标识和状态,同时量化场景以进行散度计算。对于每一对,最佳子图是通过 LLM 生成的,仅使用基本动作来减轻幻觉。对边缘情况的支持动作是通过轻量级鉴别器进行推理和插入的。由于量化基线和当前场景之间的差异,它很容易以低成本进行扩展。增强子图在拓扑上协调成全局序列,同时保持内部行为一致性。嵌入原子技能的动态行为树关闭了力感知执行循环。对 100 个真实世界场景的离线评估实现了 97.00% 的全局可执行性,优于经典和最先进的规划器。 UR3手臂上的真实机器人部署在强干扰下达到了90%的成功率,公差为0.5毫米,展示了复杂自主装配的统一且可验证的解决方案。