MFlowAudio以双扫描Mamba与有状态流匹配实现流式音频生成

摘要

音频生成领域的最新进展很大程度上是由基于 Transformer 的扩散模型推动的。然而，这些模型受到自注意力二次复杂度的影响，严重阻碍了长格式音频合成。为了克服这一限制，我们提出了 MFlowAudio，这是一种新颖的潜空间音频生成框架，它将 Flow Matching 的连续时间动态与定制设计的 TCMamba 主干相结合。 TCMamba 使用创新的双扫描机制：TimeMamba 模块用于捕获具有线性复杂性的长程因果依赖性，ChannelMamba 模块用于对跨通道相关性（例如谐波结构）进行建模。利用这个结构基础，我们制定了有状态流匹配（SFM）范例。该框架本质上支持分块训练和流生成，保持 O(1) 缓存复杂性，而不会产生额外的计算开销。为了实现细粒度的可控合成，我们设计了一种新颖的引导机制，可以消除提示的动态语义转换引发的向量场碰撞。全面的实证评估证实，MFlowAudio 产生的生成保真度与最先进的基线相当，同时建立了显著的计算效率，实现了高于 14.5% 的生成加速，并以 1.8 秒的恒定延迟实现听感上无缝衔接的流式合成。演示：https://huggingface.co/spaces/mflowaudio/MFlowAudio

MFlowAudio以双扫描Mamba与有状态流匹配实现流式音频生成：论文配图 — 图1：MFlowAudio的关键组件。左：MFlowAudio流程，使用VAE与声码器在音频和潜在表示之间进行编码、解码。中：TCMamba块的架构。右：Mamba的双扫描机制。