预测，而不是迭代：扩散语言模型的高效自适应长度填充

扩散语言模型（DLM）已成为自回归范式的有前途的替代方案。凭借双向注意力和任意顺序生成，DLM 自然适合填充任务，这需要生成以前缀和后缀为条件的中间跨度。然而，填充对跨度的长度很敏感，而 DLM 需要在生成之前固定长度。尽管先前的研究将 DLM 扩展到动态长度，但它们仍然存在两个局限性。 (i) 对初始长度的敏感性。这些方法需要预设长度来初始化搜索，并且对此初始长度高度敏感，通常会产生次优结果。 (ii) 推理效率低下。他们要么在生成过程中插入长度改变操作，要么使用多步去噪置信度重复搜索合适的长度，这两者都会引入大量额外的前向传递和计算成本。因此，我们提出了 PILL（基于探测的 InfiLling，具有无预设长度解码功能），这是一种有效的 DLM 填充方法，不需要预设初始长度，并且添加的额外前向传递比基线少得多，从而大大减少了推理时间。实验表明，在八个填充基准上跨越不同系列、架构和训练方案的五个 DLM 中，PILL 比最强基线的代码平均通过率提高了 4.8，文本平均通过率提高了 6.0 BLEU-2，同时运行速度比该基线快了 1.82 倍。该代码可在 https://github.com/Hsu1023/PILL 获取。