论文
OccDirector:用自然语言编排四维占据场景
OccDirector: Language-Guided Behavior and Interaction Generation in 4D Occupancy Space
摘要
生成世界模型越来越依赖 4D 占据来进行真实的自动驾驶模拟。然而,现有的生成框架依赖于严格的几何条件(例如,显式轨迹)或简单的属性级文本,无法编排复杂的、顺序的多智能体交互。为了解决这种语义时空差距,我们提出了 OccDirector,这是一个开创性的框架,可生成仅以自然语言为条件的 4D 占据动态。作为“场景导演”,OccDirector 将自然语言脚本映射到物理上合理的体素动力学,而不需要几何先验。从技术上讲,它采用 VLM 驱动的时空 MMDiT,配备历史前缀锚定策略,以确保长范围交互一致性。此外,我们还介绍了 OccInteract-85k,这是一个用多级语言指令进行独特注释的新颖数据集:从静态布局到复杂的多代理行为,以及基于 VLM 的新颖评估基准。大量实验表明,OccDirector 实现了最先进的生成质量和前所未有的指令跟踪能力,成功地将范式从外观合成转变为语言驱动的行为编排。