论文

CameraEditor:通过视频先验序列建模进行摄像机控制的图像编辑

CameraEditor: Camera-Controlled Image Editing via Video-Prior Sequential Modeling

应用与实践内容创作

摘要

除了语义内容之外,相机参数在决定任何给定图像的几何透视和外观方面发挥着关键作用。虽然最近的图像编辑模型在语义和风格操作方面表现出色,但它们在显式相机参数控制方面遇到了困难。当处理大的视角变化时,指令驱动模型面临两难境地:它们要么遭受结构撕裂,要么生成忽略几何指令的保守输出。为了解决这个问题,我们引入了 CameraEditor,这是一个框架,它将相机控制的编辑从空间问题重新表述为时间序列预测任务。通过利用视频扩散模型的时间相干性,我们的方法将显式几何感知模块与动态参考路由机制集成在一起。这使我们能够通过动态全景裁剪构建几何上严格的视觉参考对,克服基于文本的指令的模糊性。此外,CameraEditor 策略性地插入中间过渡帧来分解大的透视变化,提供强大的时间缓冲区来保留内容身份和空间连贯性。我们构建了包含 5,760 个实例的训练数据集。作为一项独立贡献,我们引入了 CamEditor-Bench,这是一个包含 462 个测试用例的模型无关评估套件。大量实验表明,CameraEditor 实现了最先进的相机控制精度和源身份保存,优于现有方法。