论文

戏剧导演:几何引导的短剧生成

DramaDirector: Geometry-Guided Short Drama Generation

应用与实践内容创作

摘要

短剧由于其快速的拍摄节奏、对话驱动的焦点转移以及要求较高的摄影空间约束,带来了提示级或纯文本视频生成管道难以应对的挑战。我们研究情节到短剧的生成,其中全局情节和局部上下文被转化为视觉定位的多镜头视频。我们提出了 DramaDirector,这是一个基于几何的框架,让规划者可以从按深度和姿势索引的真实短剧镜头库中借用电影几何。 DramaDirector 将每个镜头解耦为静态视觉和动态叙事条件,在学习的文本视觉对齐奖励下使用模式约束的 SFT 和 GRPO 来训练规划器,并检索深度姿势参考以指导第一帧生成和图像到视频合成。我们还推出了DramaBoard,这是一个由35部真人剧、2.8K剧集和81K镜头构建的基准,具有结构化的故事板和多维度的评估协议。实验表明,DramaDirector 改进了 忠实性 上代表性多智能体和视频生成基线、一致性和可控性。我们的代码发布于:https://github.com/iLearn-Lab/DramaDirector