论文

Meta-Ctrl:通过解耦句法和语义约束来保证计划生成

Meta-Ctrl: Guaranteed Plan Generation by Decoupling Syntactic and Semantic Constraints

模型推理解码与生成控制

摘要

LLM 为机器人生成流畅的计划,但经常违反它们执行时必须满足的句法和语义约束,并且现有的补救措施以形式保证来换取计划质量:软方法(可供性评分、基于环境信息的解码)无法提供保证,而符号规划器(LLM+P)则丢弃了 LM 的常识。我们提出 \textbf{Meta-Ctrl},一个约束解码框架,它保证编码约束,同时保持基本 LM 的计划质量。 Meta-Ctrl 引入了 \emph{meta-tokens}——一种具有明确环境含义的动作的紧凑词汇表——在 词元级 上强制执行语法,并在操作级别上执行语义(先决条件、目标、排序),这是一种精确的分解,可将受限解码的内存从超过 107TB 削减到 2GB 以下。有了它,小型开放权重 LM 就变得具有竞争力,否则它位于排行榜的底部:在 LoTa-Bench 协议下的 WAH-NL 上,它达到了报告的最高子目标成功率,超过了 GPT-4,并且在整个Embodied Agent Interface上获得了一致的增益。我们在真实的桌面机器人上进一步演示了它,其中每个生成的计划都通过构造满足其前提条件和目标。项目网站:https://metactrlg.github.io