通过跨步注意实现实时视频超分辨率的流感知扩散

实时视频超分辨率在严格的延迟约束下需要高时空保真度，由于迭代采样成本和有限的时间协调，对扩散模型提出了挑战。我们提出了一种流感知框架，通过利用视频流的顺序结构，采用预训练的单图像潜在扩散模型来实现高效的视频超分辨率（VSR）。我们的跨步注意力机制在相邻帧和扩散步骤之间重用中间去噪特征，从而无需显式时间建模即可实现时间信息交换。我们进一步引入了轨迹耦合扩散调度，它可以对齐相邻的扩散状态，并为跨步调节提供​​更清晰的中间表示，从而提高时间相干性。这些组件被集成到流式推理管道中，该管道以增量方式跨帧传播潜在状态，从而将 $N$ 帧和 $S$ 扩散步骤的有效计算复杂性从 $O(N \cdot S)$ 降低到 $O(N + S)$。 REDS4 和 YouHQ40-Test 上的实验 展示了改进的感知质量和时间真实感，同时保持了帧稳定性。我们的方法在冷启动后以 512 美元×512 美元的分辨率实现了超过 40 FPS，无需显式时间建模即可实现实时 VSR。