论文
ParaScale:通过规格不变视差数进行比例校准的相机运动传输
ParaScale: Scale-Calibrated Camera-Motion Transfer via a Gauge-Invariant Parallax Number
摘要
将参考视频的摄像机运动转移到新生成的视频中,创作者可以重复使用电影动作。然而,参考和目标通常处于不相容的尺度上——扫过一个星系与轻推桌子上——并且天真地重用恢复的轨迹会产生难以察觉的或剧烈夸大的运动。我们将其追溯到一个几何事实:平移引起的图像运动尺度为||T||/Z,因此单目轨迹仅在深度尺度范围内才有意义。我们将其提炼为视差数 Pi = ||Delta T|| / Zbar,一种无量纲、规格不变的描述符,用于描述相机移动的强烈程度,并证明它(而不是原始轨迹)是比例忠实传输必须保留的量。 ParaScale 是一个即插即用模块,可以从任何参考视频中读取 Pi,并根据目标场景自身的每帧深度重新实现它,而旋转不变。它位于姿势提取和姿势注入之间,不需要重新训练,并且可以放入任何姿势调节生成器中。我们进一步介绍了视差一致性误差(PCE),这是一种尺度对称度量,与相似性对齐的 TransErr 不同,它暴露了场景尺度不匹配。在跨越四个数量级和多个主干的尺度体系中,ParaScale 将实现的视差保持在身份线上,并将 PCE 比未校准的传输降低了 3 倍以上,且不损失视觉保真度。