Vorch-Director：通过噪声感知错误纠正的交互式世界故事模型

自回归延续通过重复扩展以先前生成的视频和音频为条件的短窗口生成器，为分钟级视听生成提供了一条自然路径。然而，模型是在干净的 真值 历史上进行训练的，而推理则依赖于它们自己生成的历史，其中累积的错误会导致身份漂移、过度平滑和视听不同步。最近的方法通过重新使用预测残差作为合成损坏来减少这种不匹配，但我们观察到残差校正的有效性关键取决于产生残差的流匹配噪声水平。我们提出了 Vorch-Director，一种噪声水平感知残差校正策略，它将每个残差与其原始噪声水平相关联，并在训练期间从匹配的噪声区域注入残差。通过将注入的错误与去噪过程保持一致，Vorch-Director 可以生成更真实的自回归历史，同时保留有效的教师强制训练。 Vorch-Director 基于视听 LTX-2 扩散 Transformer 构建，进一步引入任务嵌入来区分历史视频、参考图像和目标视频，从而实现长视野生成的统一调节。与干净的调节水槽和混合任务训练一起，Vorch-Director 支持多镜头、多主题、参考引导的视听长视频生成。我们在 ST-Bench 上评估 Vorch-Director，并引入了一个新的长期视听基准，其中包含质量漂移和长期一致性指标。大量的实验表明，在强基线的基础上，稳定性和视听保真度得到了提高。