论文

CamPilot:用于摄像机控制电影生成的多智能体电影助手

CamPilot: A Multi-Agent Cinematic Assistant for Camera-Controlled Movie Generation

应用与实践内容创作

摘要

将 大语言模型 (LLM) 集成到视频生成中可以实现快速的文本到视频创建并提高视觉质量。然而,它仍然达不到专业电影制作的水平,电影语言不如人工制作的摄影作品精致,而且多镜头连续性仍然具有挑战性。为了解决这些限制,我们引入了 CamPilot,这是一个多智能体框架,它集成了电影摄影规划和摄像机工作控制,以制作更加连贯、逻辑结构和人类审美的电影。 CamPilot 采用基于 GRPO 的学习范式,从 14K 真实世界专业电影中学习摄影机工作规划,内化运动模式和构图原则,支持对拍摄技术(例如摄影机角度、运动和焦点行为)的推理以及跨镜头关系,以实现可控摄影机视点生成。多个代理进一步协作和发展,以提高整体输出质量。为了支持这项工作和该领域的进一步研究,我们建立了 CamEval,这是评估摄像机工作质量和电影参与度的基准。实证结果表明,CamPilot 在电影控制和质量方面优于最先进的文本到电影生成方法,凸显了专业相机设计对电影生成的影响。