论文

Reason–Imagine–Act:基于世界模型的自动驾驶闭环LLM决策

Reason--Imagine--Act: Closed-Loop LLM Decision Making with World Models for Autonomous Driving

智能体系统Agent 架构与控制循环

摘要

大语言模型(LLM)在自动驾驶中前景可观,但仅依赖语义的决策策略可能在动态交通中产生物理上不安全的行为。现有方法要么进行在线语言推理而不做显式动力学验证,要么主要在离线管线中使用世界模型,在决策时刻留下语义意图与物理可行性之间的鸿沟。我们提出Reason–Imagine–Act(RIA),一个将LLM推理器与动作条件世界模型耦合、用于在线安全验证的闭环框架。在每一步,LLM提出动作模板与候选子动作,世界模型执行短时程rollout,安全评分器选出最安全的可执行动作,并将反馈传入下一轮推理。在统一的CARLA点目标协议(1000个回合)下,RIA取得80.05%的路线完成率、51.10%的到达率和0.20%的碰撞率。在相同闭环接口下,RIA在核心闭环指标上持续优于包括CARLA TM与MADA在内的免训练基线。为便于复现,代码发布于 https://github.com/pku-smart-city/source_code/tree/main/RIA。

Reason–Imagine–Act:基于世界模型的自动驾驶闭环LLM决策:论文配图
图1:Reason–Imagine–Act框架:LLM提出高层意图与候选动作,世界模型想象短时域未来,安全评分器选出最安全动作并反馈闭环。