论文
StoryBlender:具有时空动态的镜头间一致且可编辑的 3D 故事板
StoryBlender: Inter-Shot Consistent and Editable 3D Storyboard with Spatial-temporal Dynamics
摘要
故事板是电影、动画和游戏视觉叙事的核心技能。然而,自动化这个过程需要一个系统实现当前方法很少同时满足的两个属性:镜头间一致性和显式可编辑性。虽然基于 2D 扩散的生成器可以产生生动的图像,但它们经常会遭受身份漂移以及有限的几何控制的困扰;相反,传统的 3D 动画工作流程是一致且可编辑的,但需要大量专家、劳动密集型创作。我们推出 StoryBlender,这是一个由以故事为中心的反射方案管理的基础 3D 故事板生成框架。其核心是,我们提出了 StoryBlender 系统,该系统构建在三阶段管道上:(1)语义空间基础,构建连续性内存图,将全局资产与特定于镜头的变量解耦,以实现长范围一致性; (2) Canonical Asset Materialization,在统一的坐标空间中实例化实体以保持视觉身份; (3)时空动态,通过视觉指标实现布局设计和电影演变。通过在验证循环中以分层方式编排多个代理,StoryBlender 通过引擎验证的反馈迭代地自我纠正空间幻觉。由此产生的原生 3D 场景支持直接、精确地编辑摄像机和视觉资源,同时保持坚定的多镜头连续性。实验表明,与基于扩散和基于 3D 的基线相比,StoryBlender 显着提高了一致性和可编辑性。代码、数据和演示视频将在 https://engineeringai-lab.github.io/StoryBlender/ 上提供