LiveMoments：通过参考引导扩散重新选择实时照片中的关键照片恢复

实时照片可捕捉高质量的关键照片和短视频剪辑，以保留所捕捉瞬间的珍贵动态。虽然用户可以选择替代帧作为关键照片来捕捉更好的表情或时间，但这些帧通常会表现出明显的质量下降，因为照片捕捉 ISP 管道提供的图像质量明显高于视频管道。这种质量差距凸显了需要专门的修复技术来增强重新选择的关键照片。为此，我们提出了LiveMoments，一个为Live Photos中重新选择的关键照片量身定制的参考引导图像恢复框架。我们的方法采用两分支神经网络：一个参考分支从原始高质量关键照片中提取结构和纹理信息，一个主分支使用参考分支提供的指导恢复重新选择的帧。此外，我们引入了一个统一的运动对齐模块，该模块结合了运动指导，用于潜在和图像级别的空间对齐。对真实和合成实时照片的实验表明，与现有解决方案相比，LiveMoments 显着提高了感知质量和保真度，尤其是在快速运动或复杂结构的场景中。我们的代码可在 https://github.com/OpenVeraTeam/LiveMoments 获取。