论文
SierpinskiCam：使用 Sierpinski 三角形图案提示进行摄像机控制的视频重拍
SierpinskiCam: Camera-Controlled Video Retaking with Sierpinski Triangle Pattern Cues
摘要
从单个单目视频中沿着用户定义的摄像机轨迹生成场景的新颖渲染（称为视频重拍）是内容创建和视觉效果中一个引人注目但困难的问题。现有的几何引导方法从源视频重建 4D 表示，并沿着目标轨迹渲染它以调节视频扩散模型。然而，当目标相机偏离源轨迹时，这种引导会降低，导致新显示的区域稀疏或完全缺失。我们提出了 SierpinskiCam，它通过使用 Sierpinski 圆顶纹理提示增强基于几何的引导来解决这一限制，即使在较大的视点变化下，该纹理提示也包含丰富的可跟踪功能。我们进一步引入了一种参考视频调节机制，该机制将源视频词元附加到目标词元序列，并使用负 RoPE 索引分离两个流，从而无需架构修改或每个视频自适应即可实现外观对应。大量实验表明，SierpinskiCam 在各种具有挑战性的重拍场景中在摄像机可控性、几何一致性和视频质量方面取得了显着的进步。 Project page: https://hyelinnam.github.io/SierpinskiCam/.