DA-Flow：使用扩散模型进行退化感知光流估计

在高质量数据上训练的光流模型在遇到现实世界的损坏（例如模糊、噪声和压缩伪影）时通常会严重退化。为了克服这一限制，我们制定了退化感知光流，这是一项新任务，旨在从现实世界的损坏视频中进行准确的密集对应估计。我们的主要见解是，图像恢复扩散模型的中间表示本质上是腐败感知的，但缺乏时间感知。为了解决这个限制，我们提升模型通过完整的时空注意力来参与相邻帧，并凭经验证明所得到的特征表现出零样本对应能力。基于这一发现，我们提出了 DA-Flow，这是一种混合架构，它将这些扩散特征与迭代细化框架内的卷积特征融合在一起。在多个基准测试严重退化的情况下，DA-Flow 的性能大大优于现有的光流方法。