Ripple：使用跨模式循环存储器实时流式音频视频生成

音视频生成模型的质量令人印象深刻，但延迟较高，因此不适合实时应用。尽管已经提出了几种流式音频视频生成方法，但它们仍然成本高昂并且无法支持长格式生成。为了解决这个问题，我们提出了 \textbf{Ripple}，一种具有跨模式循环存储机制的实时联合音视频生成系统。为了在保留长期上下文的同时实现高效的流式推理，Ripple 将固定长度的滑动窗口注意力与持续总结音频和视频上下文的特定模态的记忆状态相结合。进一步引入跨模态记忆交互来增强视听同步。为了有效地学习这种记忆增强模型，我们设计了一个三阶段的训练方法：（1）使双向音视频教师通过模拟记忆进行块式因果注意，（2）通过端到端蒸馏优化记忆构建和交互管道，以及（3）应用为流式音视频生成量身定制的在线强化后训练。因此，Ripple 在 480P 分辨率下实现了约 28 FPS，比教师速度更快，同时能够进行连贯的长格式生成。对短视频和长视频基准的广泛实验证明了我们优于现有离线和在线联合音视频生成方法的性能。