PACE：精准的AI电影表达

在剧本和电影之间首先存在一个空间规划问题：谁站在哪里，以及摄像机从哪里看到什么。图像扩散模型要求以自由文本拍摄，从而通过其自身的默认设置解决了该计划。我们提出了 PACE（精确人工智能电影表达），这是该计划的一种类型化表示：剧本证据、所需的角色、道具和地点、每个主题的站立位置以及摄像机的作用。值在其所属级别（脚本、场景、镜头或面板）写入一次并在其下方继承。编译器将结果转换为发送到扩散模型的提示和以米为单位构建的 3D 场景，并且相机解算器放置相机，以便声明的框架是构建的框架。当声明的值变成几何形状时，PACE 逐场测量编译的相机和分阶段渲染与声明的距离，而不是要求模型进行判断。在 11 个场景的《自动驾驶》剧本中，每个舞台上的单一主题面板都将其主题放置在其声明位置的帧宽度的 1.2% 内；对于两个或三个拍摄对象，一个相机姿势无法满足每个位置，并且残差会被报告而不是被吸收。在204个外部导演分镜镜头中，交付的头部高度是导演的话中舞台目标的1.906倍，编译提示中的1.733倍，以及灰盒控制中的0.955倍；保持框架最好的条件吸引所描述的动作最少。在不移动取景框的情况下，声明 30 个镜头的姿势可将动作绘制率从 58.9% 提高到 74.4%。生成的面板的过渡、拟合运动和人工审查仍然开放。代码：https://github.com/StudioPiLabs/pace-core