LightMover：具有颜色和强度控制的生成光移动

我们提出了 LightMover，这是一个用于在单个图像中进行可控光操作的框架，它利用视频扩散先验来产生物理上合理的照明变化，而无需重新渲染场景。我们将灯光编辑表述为视觉标记空间中的序列到序列预测问题：给定图像和光控制标记，模型调整灯光位置、颜色和强度以及单个视图中产生的反射、阴影和衰减。这种对空间（运动）和外观（颜色、强度）控制的统一处理提高了操作和照明的理解。我们进一步引入了一种自适应标记修剪机制，该机制保留空间信息标记，同时紧凑地编码非空间属性，将控制序列长度减少 41%，同时保持编辑保真度。为了训练我们的框架，我们构建了一个可扩展的渲染管道，该管道在不同的光照位置、颜色和强度下生成大量图像对，同时保持场景内容与原始图像一致。 LightMover 能够对光位置、颜色和强度进行精确、独立的控制，并在不同任务中实现高 PSNR 和强语义一致性（DINO、CLIP）。