CinemaTraj：使用 LLM 代理为 3D 场景构建原子摄像机轨迹

通过自然语言描述的 3D 场景自动生成具有电影表现力的摄像机轨迹是一项具有很高实用价值的挑战性任务，其应用范围从房地产广告到虚拟旅游创建。现有方法要么依赖 2D 图像先验而缺乏真正的 3D 空间意识，要么将轨迹生成视为脱离电影语义的几何路径规划问题。我们提出了 CinemaTraj，一个将摄像机轨迹规划重新构建为基于语言的空间推理问题的框架。给定一组 RGB-D 图像和用户提示，CinemaTraj 为 LLM 代理配备结构化 3D 场景图：该代理将提示分解为一系列原子电影运动（移动、轨道、起重机、平移、倾斜、缩放、弧线）。每个运动都通过新颖的参数轨迹表示来实例化，该表示形式既具有电影表现力，又可针对避免碰撞进行优化。场景图充当结构化空间先验，将代理的推理建立在环境的准确几何和语义知识之上。 CinemaTraj 进一步生成与摄像机运动一致的同步画外音和字幕，从而生成带叙述的电影视频输出。我们在现实世界的 ScanNet++ 环境中对 CinemaTraj 进行了评估，结果表明它能够生成具有高电影摄影质量的快速忠实、无碰撞的轨迹，在即时对齐、轨迹质量和安全指标方面优于现有方法。