VibeFlow：通过自我监督学习进行多功能视频 Chroma-Lux 编辑

视频色度-勒克斯编辑的目的是修改照明和颜色，同时保持结构和时间保真度，这仍然是一个重大挑战。现有方法通常依赖于使用合成配对数据进行昂贵的监督训练。本文提出了 VibeFlow，一种新颖的自监督框架，它释放了对预训练视频生成模型的内在物理理解。我们不是从头开始学习颜色和光线过渡，而是引入了一种解缠结的数据扰动管道，该管道强制模型自适应地重新组合来自源视频的结构和来自参考图像的颜色照明线索，从而以自我监督的方式实现稳健的解缠结。此外，为了纠正基于流的模型中固有的离散化错误，我们引入了残余速度场以及结构畸变一致性正则化，以确保严格的结构保存和时间相干性。我们的框架消除了对昂贵的训练资源的需求，并以零镜头的方式推广到各种应用，包括视频重新照明、重新着色、低光增强、昼夜转换和特定于对象的颜色编辑。大量实验表明，VibeFlow 可实现令人印象深刻的视觉质量，同时显着降低计算开销。我们的项目已在 https://lyf1212.github.io/VibeFlow-webpage 上公开发布。