论文

RealVDeblur:用于通用现实世界视频去模糊的一步扩散

RealVDeblur: One-Step Diffusion for Generalizable Real-World Video Deblurring

应用与实践内容创作

摘要

由于不同的运动模式、复杂的退化和现实训练数据的稀缺,现实世界的视频去模糊仍然具有挑战性,但强大的恢复对于移动成像和 3D 重建等下游流程至关重要。这项工作提出了 \textbf{RealVDeblur},这是一种高效的生成框架,旨在提高各种真实捕获条件下的野外鲁棒性。首先,由场景级 3D 高斯泼溅 (3DGS) 资源和高帧率视频构建大规模、基于物理的模糊合成管道,提供涵盖相机引起的模糊和对象运动模糊的真实训练数据。其次,利用视频扩散先验进行恢复;为了更好地适应与帧相关的模糊变化,VAE 中的时间压缩被禁用,并采用逐帧编码方案。对于长视频的实际部署,多步扩散采样被提炼为高效的单步生成器,并且 无需训练 时间窗口掩模通过恒定的内存使用稳定超出训练范围的推理。对各种现实世界基准的广泛实验表明,未见过的视频具有强大的感知质量、语义保真度和时间一致性,以及严重运动模糊下下游 3D 重建的鲁棒性得到了提高。项目页面:https://rbjin.github.io/RealVDeblur