RASA：跨身份角色动画的解开空间运动先验

摘要

跨身份角色动画需要让参考图像中的目标角色跟随驱动视频中的源角色运动，难点是空间映射与运动控制纠缠：前者对齐位置、尺度和骨骼比例，后者处理关节运动、体积一致性和视角连贯性。RASA向扩散Transformer注入结构先验，将两者分开。首先，空间先验校准器结合参考身份与驱动姿态，生成与空间位置对齐的初始噪声潜变量，确保位置、尺度与驱动骨架一致。其次，运动引导器把不依赖体型的SMPL关节参数编码为语义运动向量，减少二维关键点的外观偏差。向量注入中间层，补充基础姿态条件，改善解剖一致的关节运动及视角相关的体积细节。研究构建高质量CIM-Bench进行评估，多项实验显示运动保真度与视觉质量优于所比方法。结果支持分离空间与运动先验用于稳健角色动画。项目：https://hidream.ai.github.io/RASA/