有效扩散语言模型的生存引导长度控制

扩散语言模型 (DLM) 通过迭代地对掩码序列进行去噪来生成文本，但标准解码要么固定序列长度，要么依赖于临时停止规则，通常会导致不必要的去噪步骤。我们将长度选择重新定义为序列结束标记上的离散时间生存问题，并提出了一个插件 无需训练 长度预测器，可以将其添加到任何现有的 DLM 中。在推理和代码生成基准测试中，生存引导长度解码可将推理速度提高多达 7 倍，同时保持任务准确性。我们进一步发现，即使在同一数据集中，预测长度也有很大差异，这使得模型性能对所选长度敏感。