DreamStereo：实现高清视频的实时立体修复

立体视频修复的目的是用视觉连贯的内容填充扭曲视频的遮挡区域，同时保持时间一致性，这仍然是一个具有挑战性的开放问题。要填充的区域沿着对象边界分散，并且仅占据每帧的一小部分，这导致了两个关键挑战。首先，由于缺乏高质量的立体修复数据集，现有方法在此类任务上表现不佳，这限制了它们学习有效修复先验的能力。其次，这些方法对帧的所有区域应用相同的处理，即使大多数像素不需要修改，从而导致大量的冗余计算。为了解决这些问题，我们引入了三个互连的组件。我们首先提出梯度感知视差变形（GAPW），它利用向后变形和坐标映射函数的梯度来获得连续边缘和平滑遮挡区域。然后，引入了基于视差的双投影（PBDP）策略，该策略结合了 GAPW 来生成几何一致的立体修复对和精确的遮挡掩模，而无需立体视频。最后，我们提出了稀疏感知立体修复 (SASI)，它减少了超过 70% 的冗余标记，在扩散推理过程中实现了 10.7 倍的加速，并提供了与全计算对应的结果相当的结果，从而能够在单个 A100 GPU 上以 25 FPS 实时处理高清 (768 x 1280) 视频。