SCAIL-2：将受控角色动画与端到端上下文条件统一起来

受控角色动画旨在将运动从驾驶序列转移到参考角色。先前的工作严重依赖于中间表示，例如运动的姿势骨架和环境的蒙版背景，不可避免地导致信息丢失。在这项工作中，我们提出了 SCAIL-2，这是一个框架，它采用端到端驱动范例，将潜在视觉信息直接连接到模型的输入序列。我们通过数据合成管道实现端到端训练，该管道生成 MotionPair-60K，这是一个针对多个角色动画子任务的精选数据集。我们使用解耦条件来统一子任务，以适应不同的驾驶模式，并在上下文掩模调节和特定模式 RoPE 的帮助下，提供超越文本指令和视觉信息的软指导。为了解决详细区域的综合差异，我们建议使用 Bias-Aware DPO 来构建偏好项来减轻错误。大量的实验表明，我们的方法在各种角色动画任务中实现了最先进的性能。代码、模型权重和数据集的大部分子集可在以下位置获取：https://teal024.github.io/SCAIL-2/。