论文
$h$-control:通过块条件吉布斯细化的 无需训练 摄像机控制
$h$-control: Training-Free Camera Control via Block-Conditional Gibbs Refinement
摘要
用于预训练流匹配视频生成器的 无需训练 相机控制是一个部分观察逆问题:深度扭曲的引导视频在潜在站点子集上提供噪声证据,采样器必须与预训练的先验一致。现有方法很难平衡轨迹依从性和视觉质量之间的权衡,并且启发式引导强度调整缺乏鲁棒性。我们提出 \textbf{$h$-control},它通过对采样器的结构改变来解决这个困境:每个外部硬替换引导步骤都通过内循环 \emph{块条件伪吉布斯细化}对相同噪声水平下未观察到的补集进行增强,并可证明收敛于部分观察条件数据定律。为了加速高维视频潜在的收敛,我们利用它们的条件局部性,将未观察到的补集划分为 3D 补丁,每个补丁都由一个自定义混合指示器跟踪,该指示器自适应地冻结收敛补丁。在 RealEstate10K 和 DAVIS 上,\textbf{$h$-control} 在所有七个 无需训练 和基于训练的竞争对手中获得了最佳 FVD,在每个报告的指标上都优于每个 无需训练 基线。