论文
双手移动操作的自动贴标
Automatic Labelling for Bimanual Mobile Manipulation
摘要
语义上有意义的子任务标签可以为长期策略提供有用的上下文,但自动识别可靠的时间边界和注释的广泛语义描述仍然很困难。我们提出了一种自动标记管道,它将时间定位分配给确定性轨迹分析,将语义解释分配给视觉语言(VL)推理。管道将同步运动信号分段,执行相位本地化 VL 推理来描述内容,并聚合底座、左臂和右臂动作的输出。我们主要在 29 个真实的 Galaxea 双手移动操作任务上评估该流程。首先重复 VL 推理 3 次,在选定任务上产生 87.4% 的相同输出值。由 9 名参与者对所有 29 项任务进行审查,然后对标记的阶段进行判断,结果显示对时间划分 (90.5%)、身体标签 (90.7%) 和手臂标签 (78.7%) 的积极接受。结果表明,分段VL设计可以产生结构化注释,同时保留异步双手行为,为更丰富的语义子任务识别和基于状态的验证提供基础。