论文

不偷工减料:视频生成流式生成中途提示开关的状态转换

No Corners Cut: State-Grounded Transitions for Mid-Stream Prompt Switches in Video Generation

模型训练监督微调与指令调优

摘要

流视频生成器允许用户通过流式生成中途提示切换动态调制视频合成。现有的流方法可以响应更新的指令,同时仍然走捷径,过早地实现目标或采取启发式捷径,绕过合理转换所需的必要中间状态更改。在这项研究中,我们提出了SEGUE,一种新颖的框架,它使这个过程变得明确,并训练生成器忠实地执行这些转换。在每次切换时,免训练规划器都会解析最新的帧和提示,编写一些带有角色和持续时间的连续提示,然后将控制权交还给用户的提示。此外,为了解决在短期时间安排上训练因果模型而不破坏准备监督的固有困难,我们引入了 SPANDMD,它使用完整的rollout作为时间上下文来评估每个活动提示,同时仅在提示的指定范围内保留其 DMD 残差。 OpenTrans-360 是一个包含 1,800次切换的基准测试,对旧状态如何退出以及新状态如何开始进行评分,SEGUE 在所有八个转换指标上排名第一,并将最强基线的总体得分从 0.866 提高到 0.887。它还在 StreamAV-Bench 的六个指令响应指标中的四个上排名第一,而规划器无需重新训练即可转移到冻结的自回归生成器。