GenerativeMPC：VLM-RAG 引导的全身 MPC，具有虚拟阻抗，用于双手移动操作

双手移动操作需要高级语义推理和安全、合规的物理交互之间的无缝集成——这是端到端模型不透明地处理的挑战，而经典控制器缺乏需要解决的上下文。本文提出了 GenerativeMPC，这是一种分层网络物理框架，它明确地将语义场景理解与双手移动操纵器的物理控制参数联系起来。该系统利用具有检索增强生成功能的视觉语言模型（VLM-RAG）将视觉和语言上下文转换为基础控制约束，特别是为全身模型预测控制器（MPC）输出动态速度限制和安全裕度。同时，VLM-RAG 模块可调节统一阻抗导纳控制器的虚拟刚度和阻尼增益，从而在人机交互过程中实现上下文感知合规性。我们的框架利用经验驱动的矢量数据库来确保一致的参数基础，而无需重新训练。 MuJoCo、IsaacSim 和物理双手平台上的实验结果证实，人类附近的速度降低了 60%，并且通过语义到物理参数映射实现安全、具有社交意识的导航和操作。这项工作通过将大规模认知模型融入可预测的高频物理控制循环中，推进了以人为中心的控制论领域。