论文
通过代理快慢规划连接大型模型推理和实时控制
Bridging Large-Model Reasoning and Real-Time Control via Agentic Fast-Slow Planning
摘要
大型基础模型可以为自主系统提供强大的推理能力,但将语义意图映射到可靠的实时控制仍然具有挑战性。现有方法要么 (i) 让 大语言模型 (LLM) 直接生成轨迹 - 脆弱、难以验证且容易延迟 - 或 (ii) 在线调整模型预测控制 (MPC) 目标 - 将缓慢的审议与快速控制和模糊界面混合在一起。我们提出了 Agentic Fast-Slow Planning,这是一个分层框架,可以跨自然时间尺度解耦感知、推理、规划和控制。该框架包含两个桥梁。 Perception2Decision 使用车载视觉语言模型 (VLM) 检测器将场景压缩为以自我为中心的拓扑,然后使用 LLM 决策器将它们映射到云中的符号驾驶指令 - 减少带宽和延迟,同时保留可解释性。 Decision2Trajectory 将指令转换为可执行路径:语义引导 A* 将语言衍生的软成本嵌入到经典搜索中,以使解决方案偏向可行的轨迹,而代理细化模块则使用反馈和内存来调整规划器超参数。最后,MPC 实时跟踪轨迹,并为困难情况提供可选的云引导参考。 CARLA 中的实验表明,与纯 MPC 和 A* 引导的 MPC 基线相比,Agentic Fast-Slow Planning 提高了扰动下的稳健性,将横向偏差减少了 45%,并将完成时间缩短了 12% 以上。代码可在 https://github.com/cjychenjiayi/icra2026_AFSP 获取。