论文

EverAnimate:通过潜流恢复实现分钟级人体动画

EverAnimate: Minute-Scale Human Animation via Latent Flow Restoration

应用与实践内容创作

摘要

我们提出了 EverAnimate,这是一种有效的 后训练 方法,用于生成长视野动画视频,可保留视觉质量和角色身份。长篇动画仍然具有挑战性,因为高度动态的人体运动必须针对相对静态的环境进行合成,使得基于块的生成容易出现累积漂移:(i) 低级质量漂移,例如静态背景的逐渐退化,以及 (ii) 高级语义漂移,例如不一致的角色身份和依赖于视图的属性。为了解决这个问题,EverAnimate 通过将生成锚定到由两种互补机制组成的持久潜在上下文内存来恢复漂移的流动轨迹。 (i) 持久潜在传播维持跨块的上下文记忆,以在潜在空间中传播身份和运动,同时减轻时间遗忘。 (ii) 恢复流匹配在采样过程中通过速度调整引入隐式恢复目标,从而提高块内保真度。仅通过轻量级 LoRA 调整,EverAnimate 在短视野和长视野设置中都优于最先进的长动画方法:10 秒时,PSNR/SSIM 提高了 8%/7%,LPIPS/FID 降低了 22%/11%;在 90 秒时,增益分别增加到 15%/15% 和 32%/27%。