论文

掩模、样本、修订:用于引导离散流匹配文本到语音的可修订 CTMC 推理堆栈

Mask, Sample, Revise: A Revisable CTMC Inference Stack for Guided Discrete Flow Matching Text-to-Speech

模型推理解码与生成控制

摘要

最近的免对齐非自回归 (NAR) 文本到语音 (TTS) 模型将合成制定为条件填充任务,绕过显式持续时间预测器和外部对齐器。当语音用神经编解码器标记表示时,填充问题变得离散,这使得离散流匹配 (DFM)(一种用于离散生成的连续时间马尔可夫链 (CTMC) 框架)成为自然之选。然而,稳定低步条件填充的推理时间控制仍有待探索。我们提出了 Mask、Sample、Revise,这是一种用于免对齐 DFM-TTS 的推理时间 CTMC 堆栈。该堆栈结合了无预测器指导以加强文本调节、提示匹配条件耦合以将概率路径与声学提示对齐,以及 SC-ReMask(一种时间表约束的重新屏蔽机制,引入词元到屏蔽转换,以便可以修改去屏蔽决策)。这些组件不需要事后 微调,并且在单个 tau 跳跃采样器中运行。受控消融表明,该堆栈提高了低 NFE 提示设置中的清晰度和鲁棒性,其性能优于无引导和仅引导采样器,且步骤明显更多。