从合成到去除：基于物理的反射模拟和基于扩散的视频去反射

通过玻璃捕获的视频通常包含会降低视觉质量并干扰下游视觉任务的反射。尽管单图像反射去除已得到广泛研究，但由于缺乏配对视频数据、时间相干去除模型和专用评估基准，视频反射去除在很大程度上仍未得到充分探索。我们提出了一个闭环框架，它将基于物理的反射模拟、基于扩散的视频去反射和基准评估相结合。我们的 S2R-Synthesis 管道通过在结构空间中执行基于物理的增强并使用训练有素的视频扩散渲染器渲染逼真的反射视频来生成配对的反射和无反射视频；增强模拟了与玻璃相关的关键效应，包括粗糙度引起的模糊、厚度引起的重影和反射率变化。基于合成数据，我们引入了 S2R-Removal，这是第一个基于扩散的视频反射去除模型，该模型通过反射感知潜在适应和一步像素几何细化来适应预先训练的视频扩散，在单个去噪步骤中恢复干净的传输。我们进一步构建了S2R-Bench，这是第一个视频反射去除基准，支持全参考评估和现实世界的人类感知评估。 S2R-Bench 和多个公共图像基准测试证明了最先进的性能和比非扩散基线更快的推理速度，并验证了 S2R-Synthesis 的有效性。项目页面：https://codingwzp.github.io/VideoDereflection_S2R。