论文
SSC:用于双手操作标记的可验证结构化表示
SSC: A Verifiable Structured Representation for Bimanual Manipulation Labelling
摘要
子任务标签将长范围操作演示分解为较短的语义片段,以进行策略训练和评估。自然语言描述很容易阅读,但其语言变异性使得自动验证变得困难。严格的模板格式(例如 BEHAVIOR-1K 的 Skill_annotation)在语言上过度分段,阻碍了可读性和注释一致性。我们提出了结构化子任务链(SSC),这是一种弥合这些极端情况的状态转换表示。演示是一系列结构化子任务模板 (SST) 条目。每个 SST 存储核心动作组件(主语、谓语、宾语)、灵活条件(副词修饰语,例如空间或乐器短语)、与手臂动作分开的基本运动场以及后状态场景图。基于这种格式,SSC 支持三种视觉语言辅助功能:将 SST 渲染为自然语言、根据四种状态转换规则检查组装链,以及通过查询解析级联完成未指定的字段。我们在 BEHAVIOR-1K 上实例化管道(50 个任务,每个任务 3 个情节,2,357 个带注释的动作单元)用于逻辑验证和内容完成,评估 13 个选定的最先进的 VL 模型作为候选验证器并报告标记异常。