论文

关闭 Humanoid VLA 中的循环:用于可验证的局部操作的持久 3D 对象标记

Closing the Loop in Humanoid VLA: Persistent 3D Object Tokens for Verifiable Loco-Manipulation

摘要

视觉-语言-动作策略是通用机器人控制的一个有希望的基础,但长视野的人形局部操纵要求机器人将任务对象视为跨运动、接触、遮挡和恢复的持久物理实体。我们将这个问题研究为对象状态分歧:用于调节全身动作的对象状态可能不同于用于决定该动作是否实现预期物理关系的状态。我们提出\emph{持久对象标记化}(POT),它维护来自 RGB-D 观察的角色索引 3D 对象记录,并将它们转换为全身动作专家的对象标记。实例化为\emph{POT-VLA},相同的对象记录条件动作生成并支持几何谓词检查,产生一个闭环执行系统,其中对象状态既可操作又可验证。在 Unitree G1 上,POT-VLA 将八个实际任务系列的匹配直接 GR00T-N1.7 基线从 39/80 成功率提高到 71/80。在外部Being-0对齐参考中,POT-VLA在对齐服务任务上取得了44/50的成功率,而Being-0论文报告的成功率为37/50。最大的收益出现在需要维护 3D 关系的任务上,这表明持久的以对象为中心的状态是可验证的人形 VLA 执行的有用抽象。