Frozen LLM 作为用于车辆轨迹预测的地图感知时空推理器

大语言模型（LLM）最近表现出了强大的推理能力，并引起了自动驾驶（AD）领域越来越多的研究关注。然而，LLM在AD感知和预测方面的安全应用仍然需要对动态交通代理和静态道路基础设施的透彻理解。为此，本研究引入了一个框架来评估 LLM 在理解动态交通代理行为和道路网络拓扑方面的能力。该框架利用冻结的 LLM 作为推理引擎，采用流量编码器从观察到的代理轨迹中提取空间级场景特征，同时轻量级卷积神经网络 (CNN) 对本地高清 (HD) 地图进行编码。为了评估 LLM 的内在推理能力，提取的场景特征随后通过重编程适配器转换为 LLM 兼容的词元。通过将预测负担留给 LLM，可以应用更简单的线性解码器来输出未来轨迹。该框架能够定量分析多模态信息的影响，特别是地图语义对轨迹预测精度的影响，并允许以最小的适应无缝集成冻结的LLM，从而在不同的LLM架构中展示出强大的通用性，并为模型评估提供统一的平台。