论文

FilmWorld:通过动态电影世界建模代理小说到电影的生成

FilmWorld: Agentic Novel-to-Film Generation through Dynamic Cinematic World Modeling

智能体系统Agent 架构与控制循环

摘要

将小说翻译成电影对生成人工智能提出了巨大的挑战,需要将抽象的文学散文转换为长篇、多场景的视觉叙事。虽然当前的视频生成模型擅长在狭窄的时间和空间背景下的短的、单场景的剪辑,但小说到电影的生成在更复杂的机制中运行,需要跨具有动态演变的实体状态的不同场景的长时间内容。为了解决这个问题,我们将小说到电影的生成形式化为动态的电影世界建模,分解为两个阶段:构建,将抽象的、不明确的文学叙事基础化为具体的、有状态的和持久的世界实体;和进化,它控制这些实体如何在情节进展下动态更新,以保持场景之间的因果一致性。我们提出了 FilmWorld,这是一个端到端的代理系统,其中两组专门的代理协作来实例化这些阶段。施工方代理执行叙事结构化翻译、具有视觉锚定的世界实体状态建模以及状态驱动的镜头规划,逐步将文学语言投射到电影蓝图中。进化端代理执行状态锚定视觉生成、交叉镜头动态状态传播和闭环状态验证,以保持因果一致性和视觉连贯性。为了解决长篇生成中的评估差距,我们引入了 FilmEval,这是一个系统评估框架,它将 15 部代表性小说的难度分级基准与跨越三个维度的九个客观指标的自动化协议结合起来:电影呈现、电影一致性和小说保真度。实验表明,FilmWorld 的性能始终优于最先进的视频生成代理系统,在叙事保真度和跨场景一致性方面的改进尤其显着。