Dystruct：通过贝叶斯推理进行动态结构化扩散语言模型解码

扩散语言模型 (DLM) 最近已成为自回归模型的有前途的替代方案，主要是因为它们能够实现并行解码。尽管有这一优势，大多数现有的 DLM 仍依赖于解码前指定的固定生成长度，这限制了它们在实际应用中的灵活性。虽然最近的一些工作尝试支持灵活长度生成，但它们通常受到显着的限制：一些需要昂贵的重新训练来适应可变长度输出，而另一些在解码过程中仅依赖于本地置信信号。这种局部标准无法捕获序列的演变结构，通常会导致生成质量不佳。在本文中，我们提出了一种 无需训练，贝叶斯结构化解码框架，它将灵活长度生成表述为动态结构推理问题。我们的方法将灵活长度生成表述为动态结构推理问题，联合计算扩展长度、块边界和解码调度。在每个窗口扩展步骤中，该方法通过支持动态结构化生成的统一机制将局部不确定性与结构信号集成，包括灵活的块扩展和块组织，同时保持一致性。跨多个基准的广泛实验表明，与现有的固定长度和灵活长度基线相比，我们的方法显着提高了生成质量和灵活性。这些结果凸显了贝叶斯结构化解码对于扩散语言模型的优势，为结构化文本生成提供了原则性且高效的解决方案。