用控制式动态优化定制多样化视频动作

尽管视频生成方面最近取得了进展，但由于内容泄漏，运动定制仍然具有挑战性，其中参考视频的外观属性无意中传播到生成的输出中。我们认为这个问题是生成过程向参考视频崩溃的结果，这是由于将学习目标制定为参考的直接回归而产生的。为了解决这个问题，我们提出了基于控制的运动定制（CMC），这是一个有原则的训练框架，在结构上对内容泄漏具有鲁棒性。我们的关键想法是引导生成动力学朝着期望的运动方向发展，同时避免向参考视频崩溃，我们使用随机最优控制（SOC）将其形式化。在此公式下，定制视频获取目标运动，但仍保持在预训练模型的提示条件分布范围内，其中外观由文本提示而不是参考视频决定。此外，为了提高效率，我们通过消除对显式奖励的需要并引入仅关注早期生成阶段的时间步自适应运动成本，将 SOC 公式定制为运动定制，将训练加速 2.5 倍。大量实验表明，CMC 可以有效减少内容泄漏并实现有竞争力的运动保真度，同时保持基础模型在不同场景中的多样性。