上下文模型预测生成：从语言模型到物理的开放词汇运动合成

从文本描述合成人体运动对于沉浸式数字应用至关重要，但现有方法面临着语义保真度和物理真实感之间的持续权衡。基于 大语言模型 (LLM) 的方法可以解释不同的开放词汇指令并制定高级行动计划，但它们通常会生成违反物理约束的运动。物理感知模型通过模拟或控制提高了真实性，但它们在语义复杂性、细粒度指令和新颖概念方面遇到了困难。为了解决这一差距，我们提出了上下文模型预测生成（ICMPG），这是一个将语言模型规划与推理时物理反馈相结合的框架。 ICMPG 将运动合成重新表述为具有两个模块的类似模型预测控制 (MPC) 的过程。上下文感知运动生成 (CAMG) 模块使用 LLM 作为规划器来分解文本命令并从运动标记生成候选运动序列。模型预测生成（MPG）模块通过物理模拟和语义对齐来评估这些候选者，估计复合奖励，并选择最佳序列来指导后续生成步骤。与开环生成不同，这种闭环细化使 ICMPG 能够使运动适应输入语义和模拟物理环境，而无需特定于任务的策略重新训练。跨标准和零样本开放词汇设置的广泛实验表明，ICMPG 可以稳健地推广到不同的命令，并产生比评估基准上的代表性基线更物理合理、语义更忠实的动作。该框架连接了语义解释和物理模拟，同时保持足够的灵活性以合并不同的 LLM 主干，从而实现更通用和可控的文本驱动运动合成。