HL-OutPaint：用于高分辨率长距离视频的从粗到细的视频绘制

视频外画生成超出视频原始空间范围的合理视觉内容，在使视频适应不同的显示格式方面发挥着关键作用。为了支持此类用例，它必须能够对长序列进行大空间外推。然而，大多数现有方法仅解决这些挑战之一或缺乏确保全球时空一致性的明确机制，导致显着的局限性。在本文中，我们提出了 HL-OutPaint，一种用于长序列的高分辨率视频绘制框架。我们的方法遵循由粗到细的策略，具有两级管道。我们首先构建全局粗略指导（GCG），这是一种低分辨率表示，可捕获视频中的全局结构和主要运动。与朴素下采样不同，GCG 是通过一种新颖的全局-局部帧交换机制构建的，该机制将稀疏的全局关键帧与局部时间窗口耦合在一起，并在采样期间交换信息。这使得 GCG 能够以统一的表示形式对长期结构一致性和短期时间动态进行编码。在此表示的指导下，HL-OutPaint 然后执行高分辨率外画，以生成空间细节和时间一致的内容。通过将全局结构建模与细粒度合成分开，我们的框架实现了大空间扩展和长视频序列的稳定、连贯的生成。大量实验表明，在涉及宽空间外推和长视频序列的挑战性场景中，HL-OutPaint 的性能优于现有方法。