论文

CompCPZ:在语言引导的机器人操作中保留多模态意图

CompCPZ: Preserving Multi-Modal Intent in Language-Guided Robot Manipulation

智能体系统Agent 规划

摘要

一个机器人被要求“将杯子放在红盘或蓝盘附近”可能会到达它们之间的质心,并在几何上显得成功,同时满足指令的任何一个分离。这种无声的语义故障暴露了语言条件机器人策略的结构限制:将析取指令折叠成单个连接集的表示不能保留所有可行的模式,并且承诺一个动作的规划器在运行时模式不确定性下会退化。我们使用 CompCPZ 解决了这一限制,CompCPZ 是一个健全的代数层,语言条件学习系统将其包裹起来以恢复多模态析取表示,沿着语言解析树递归地组合每个原语约束的多项式区域范围,具有无分布的共形覆盖和亚毫秒运行时间。在闭环 ManiSkill3 桌面操作基准测试中,CompCPZ 优于凸集基线、多峰解码器和零样本视觉语言动作模型(1,900/1,918 配对获胜,p << 10^(-30));同一编译器还无需重新调整即可在运动捕捉下的 Unitree Go2 四足机器人上进行平面真实机器人试验。这些结果表明,不仅应该通过达到解码目标来评估组合语言基础,还应该通过所表示的可行性集是否保留用户意图的连接组件结构来评估。