论文
Talk2DM:用大语言模型为车路云一体化动态地图实现自然语言查询与常识推理
Talk2DM: Enabling Natural Language Querying and Commonsense Reasoning for Vehicle-Road-Cloud Integrated Dynamic Maps with Large Language Models
摘要
动态地图(DM)是中日两国车路云(VRC)协同自动驾驶的基础信息基础设施。通过提供全面的交通场景表示,DM克服了单体自动驾驶系统(ADS)的局限,例如物理遮挡。尽管DM增强的ADS已在日本的实际应用中成功部署,现有DM系统仍缺乏自然语言支持(NLS)的人机接口,而它本可大幅增强人-DM交互。为填补这一空白,本文介绍VRCsim,一个旨在生成流式VRC协同感知(CP)数据的VRC-CP仿真框架。基于VRCsim,我们构建了问答数据集VRC-QA,聚焦混合交通场景中的空间查询与推理。在VRCsim与VRC-QA的基础上,我们进一步提出Talk2DM,一个即插即用模块,为VRC-DM系统扩展NLS查询与常识推理能力。Talk2DM建立在新颖的提示链(chain-of-prompt,CoP)机制之上,逐步将人类定义的规则与大型语言模型(LLM)的常识知识整合。在VRC-QA上的实验显示,Talk2DM可在不同LLM之间无缝切换并保持高NLS查询准确率,展现出强大的泛化能力。尽管更大的模型往往取得更高的准确率,但会带来显著的效率下降。我们的结果显示,由Qwen3:8B、Gemma3:27B和GPT-oss模型驱动的Talk2DM实现超过93%的NLS查询准确率,平均响应时间仅2-5秒,显示出强大的实用潜力。
