行人感知 LLM 驱动的自动驾驶车辆行为规划

自动驾驶车辆（AV）必须在密集的城市环境中做出可靠的决策，在这些环境中，行人的行为是多变的，有时是异常的，并且在训练过程中通常是看不见的。基于强化学习 (RL) 的自动驾驶控制系统在结构化交通中表现良好，但很难推广到不可预测的行人交互和非分布场景。他们对手工奖励和不透明决策的依赖进一步限制了他们对安全关键、行人丰富的环境的适用性。为了解决这些限制，我们引入了基于 大语言模型 (LLM) 的决策框架，用于行人感知行为规划。该系统将结构化场景观察转换为自然语言推理提示，使 LLM 能够推断行人意图、预测风险并生成谨慎的战术驾驶决策。这些决策由运动规划器执行，确保平稳、运动学上可行的控制。我们在多个行人交互场景中评估 SUMO 的框架，包括意外乱穿马路、掉头过马路、犹豫和双向过马路。在零样本评估中，基于 LLM 的智能体实现了 68% 的无碰撞成功率，大大优于深度 RL 基线 (17.7%)。通过单行人场景中的少量情景记忆，性能提高到 96.0%，超过了自定义 DQN 控制器 (82.0%)。交叉行为评估进一步表明，来自折返交互的记忆转移到了看不见的犹豫和双向交叉场景，分别取得了 82.0% 和 90.0% 的成功率。该系统始终如一地启动早期响应，维护更广泛的安全缓冲区，并生成可解释的、人性化的决策。