MagicPrompt：用于视频生成的超轻量级提示调整

大规模视频扩散模型可提供强大的生成性能，但用于下游任务的完整 微调 会产生过高的计算成本。现有的参数高效 微调 (PEFT) 方法在十亿级模型上存在两个关键缺陷：它们仍然需要大量可训练参数，并且基于奖励的训练在条件引导任务中受到噪声引起的优化不稳定的影响。我们提出MagicPrompt，一个轻量级框架，可以实现极高的参数效率和稳定的奖励优化。它首先采用注意力嵌入提示调整，通过轻量级软提示引导生成，参数数量减少几个数量级，同时保留预先训练的知识。它还引入了双空间奖励反馈优化，它使用自我监督的潜在目标来改进条件引导的奖励训练。实验表明，MagicPrompt 以不到 1% 的可训练参数实现了具有竞争力的性能，并显着降低了训练成本。