连接自我强迫：超越视频自回归中的本地学习

为了在流式传输长视频的同时保持视觉质量和时间一致性，自我强制通过使用键值 (KV) 缓存对自我生成的历史记录进行自我推出训练来减轻曝光偏差。为了保持内存的可管理性，它分离历史缓存，保留块之间的前向依赖关系，但切断后向梯度路径。我们引入了 Connected Self Forcing，这是一种训练框架，可以重新连接跨自回归块的梯度路径，允许来自后续预测的反馈来指导如何生成早期上下文。这些联系超越了历史上的 KV 书写：梯度通过生成的潜在变量进入生成它们的计算，将早期上下文的生成与其在以后的预测中的使用联系起来。为了使这种连接训练内存高效，我们开发了快捷梯度重播，它可以恢复跨块梯度而不保留完整的推出计算图。与分布匹配蒸馏相结合，连接自强迫根据历史块的直接监督和它们的 对后代的贡献。自回归视频生成的实验表明，在不改变推理过程的情况下，长视野视觉质量和时间一致性得到了改善。