论文
Loopy:通过位置嵌入的锚定循环移位生成无缝视频循环
Loopy: Seamless Video Loop Generation via Anchored Looping Shift of Positional Embedding
摘要
循环视频对于网页图形、游戏开发和社交媒体等实际应用至关重要。然而,由于忽略了视频生成模型如何感知时间顺序以及这与循环行为的关系,现有方法通常无法生成高质量的循环视频。在这项工作中,我们首次揭示了 DiT 中不同注意力层的位置嵌入表现出不同程度的位置控制,其中最明显的层充当锚点。我们将此锚定层制定为循环视频的参考点,为其余层提供强大的上下文先验,以促进无缝且连贯的视频内容的生成。基于这一见解,我们提出了一种锚定位置嵌入移位策略,该策略根据每层的时间控制效果应用特定于层的移位长度,有效地将 DiT 的时间感知从直线转变为圆形。利用这一策略,我们开发了一个通用框架 Loopy,用于生成高质量循环视频,支持 RGB 和 RGBA 视频,同时还支持高级 AIGC 功能,例如身份控制和风格传输。实验表明,我们的方法显着提高了生成的循环视频的时间一致性和视觉保真度。发布的模型可以在我们的网站上找到:https://donghaotian123.github.io/Loopy。