并行适配器组合实现实时音视频联合生成

为实时、交互式生成部署联合音频-视频扩散Transformer通常需要两个基本修改：块自回归注意，因此可以在整个剪辑完成之前发出帧，以及少步采样，因此每个块都很便宜。传统上，流视频文献从链式管道中获得这两种功能。它首先将双向教师提炼为因果学生，然后再分解为几步学生，或者以相反的顺序进行。这样的链的每个阶段都会微调前一个阶段产生的权重，因此后面的目标可以撤销早期的能力。遵循模型合并的思想，我们证明了在打包的音频-视频主干上可以并行获取这两种功能。因果适配器针对冻结的主干进行训练，现成的少步适配器提供了少步功能。当两者编辑不同的功能轴时，我们预测并验证它们的权重更新方向接近正交，在训练期间没有任何明确的正交性约束。正交更新 应该组合而不会干扰，因此并行组合是直和。这两个适配器只是在推理时添加，没有联合训练，产生几步的流式音频视频，其图像质量跟踪双向教师。与链式基线相比，组合模型在大多数指标上都匹配或击败它们，这使得并行组合成为一种实用的方法。由此产生的流媒体系统实时生成联合音频视频，$\approx$26 fps，$480\times832$，无需量化，并维持 30 秒的连续生成，图像质量稳定。