具有LLM自动驾驶常识推理能力的多Agent编排

自动驾驶汽车需要强大的感知和决策能力，才能在各种未知的场景中运行。虽然强化学习和基于规则的方法可以提供有效的控制和安全机制，但在需要上下文推理的情况下，它们的性能可能会下降。 大语言模型 (LLM) 在理解多模态信息和生成上下文推理方面表现出了强大的能力，但是，将它们用于直接车辆控制可能会引入延迟和幻觉风险。为了解决这些限制，提出了一种混合框架。该系统使用协调器来协调经过 PPO 训练的强化学习和 PID 控制，并在整个框架中应用 LLM 常识推理。 LLM 推理被进一步迭代地用于完善动态驾驶环境的 RL 奖励函数。所提出的框架在不同环境和交通条件下的高度随机的 CARLA 场景中进行了评估。结果证明了将基于 LLM 的推理与传统自动驾驶方法集成的潜力，同时保留结构化控制和安全机制。