论文
K-Gen：面向可解释关键点引导轨迹生成的多模态语言条件化方法
K-Gen: A Multimodal Language-Conditioned Approach for Interpretable Keypoint-Guided Trajectory Generation
摘要
生成真实且多样的轨迹是自动驾驶仿真中的关键挑战。虽然大型语言模型（LLM）展现出前景，但现有方法往往依赖向量化地图等结构化数据，无法捕捉场景丰富、非结构化的视觉上下文。为解决这一问题，我们提出K-Gen，一个可解释的关键点引导多模态框架，利用多模态大型语言模型（MLLM）将栅格化BEV地图输入与文本场景描述统一起来。K-Gen不直接预测完整轨迹，而是生成可解释的关键点以及反映Agent意图的推理，随后由精炼模块将其细化为准确的轨迹。为进一步增强关键点生成，我们应用T-DAPO，一种轨迹感知的强化微调算法。在WOMD和nuPlan上的实验表明，K-Gen优于现有基线，凸显了将多模态推理与关键点引导轨迹生成相结合的有效性。
