论文

SketchKeyAnime:参考锚定稀疏关键草图动画合成

SketchKeyAnime: Reference-anchored Sparse Key-Sketch Animation Synthesis

应用与实践内容创作

摘要

传统的动画制作严重依赖手工绘制和迭代细化,尤其是关键姿势设计、中间效果和角色着色。虽然现有的动画和视频生成方法取得了显着的进步,但它们通常依赖于 RGB 边界帧、密集帧条件或完整的草图序列,限制了它们在低成本输入条件下的适用性。我们提出了 SketchKeyAnime,这是一个视频扩散框架,用于从稀疏的关键草图输入生成结构可控、外观一致且时间连贯的动画。给定单个参考 RGB 图像和一些时间索引的关键草图,SketchKeyAnime 引入了双分支条件机制来编码局部几何约束以及语义时间上下文。它利用草图交叉注意力将参考图像和草图条件与可学习的门控融合在一起,并结合自适应加权损失来加强对关键草图框架和艺术线条区域的监督。 Sakuga-42M 美学子集的实验结果表明,我们的方法始终优于代表性动画插值和草图引导生成基线。与性能最佳的基线相比,SketchKeyAnime 将 EDMD 降低了 31.9%,FVD 降低了 9.5%,展示了卓越的草图保真度和时间连贯性,同时在大多数定量指标上实现了最佳整体性能。这些结果验证了所提出的框架,并突显了其低成本、高度可控的动画创作的潜力。