论文

ZipL-Dialog:通过潜在流匹配进行内存高效的长格式口语对话合成

ZipL-Dialog: Memory-Efficient Long-Form Spoken Dialog Synthesis via Latent Flow Matching

应用与实践内容创作

摘要

零样本对话 TTS 受益于流匹配,但密集梅尔谱图上的分钟级生成会导致严重的内存瓶颈,通常会迫使不自然的分块合成。我们提出了 ZipL-Dialog,它将条件流匹配转移到 4 倍时间压缩(25 Hz)的潜在空间中。为了在压缩下保持声音保真度,我们采用具有辅助梅尔域监督的确定性梅尔自动编码器,并优化 ZipFormer 的分层下采样计划。实验表明,与基线相比,ZipL-Dialog 将最大峰值 GPU 内存减少了 11.22 倍,推理速度提高了 2.23 倍,显着降低了单通道多分钟对话合成的内存占用,同时保持了感知自然度。