InstanceAnimator：多实例草图视频着色

我们提出了 InstanceAnimator，这是一种新颖的 Diffusion Transformer 框架，用于多实例草图视频着色。现有方法面临三个核心限制：由于严重依赖单一参考帧而导致用户控制不灵活，实例可控性差导致多字符场景中的错位，以及细粒度区域的细节保真度下降。为了应对这些挑战，我们引入了三项相应的创新。首先，画布指导条件允许自由放置参考元素和背景，从而消除了工作流程碎片，从而实现了前所未有的用户灵活性。其次，实例匹配机制通过将实例特征与草图集成来解决错位问题，确保对多个角色的精确控制。第三，自适应解耦控制模块通过将字符、背景和文本条件的语义特征注入扩散过程来增强细节保真度。大量实验表明，InstanceAnimator 通过增强的用户控制、高视觉质量和强实例一致性实现了卓越的多实例着色。