渐进式真实感简化

现有的图像简化技术通常依赖于非真实感渲染 (NPR)，将照片转换为风格化的草图、卡通或绘画。虽然可以有效降低视觉复杂性，但此类方法通常会牺牲摄影真实感。在这项工作中，我们探索了一个互补的方向：简化图像，同时保留其逼真的外观。我们引入了渐进式语义图像简化，这是一个通过以受控方式删除和修复元素来迭代降低场景复杂性的框架。在每一步中，生成的图像仍然是一张看似合理的自然照片。我们的方法将语义理解与生成编辑相结合，利用视觉语言模型（VLM）来识别和优先考虑要删除的元素，并利用学习验证器来确保整个过程的真实感和连贯性。这是通过迭代的“选择-删除-验证”管道实现的，该管道可生成高质量的简化轨迹。为了提高效率，我们进一步将该过程提炼为图像到视频生成模型，该模型直接从单个输入图像预测相干简化序列。除了生成更清晰、更集中的作品之外，我们的方法还支持内容感知整理、语义层分解和交互式编辑等应用程序。更广泛地说，我们的工作表明，通过去除结构化内容进行简化可以作为指导照片级真实感领域内的视觉解释的实用机制，补充传统的抽象方法。