何时提交？面向离散扩散语言模型的可变大小自包含块

离散扩散语言模型（dLLM）支持具有双向注意力的并行词元更新，但实际生成通常采用块式半自回归解码。这种切换会造成训练与推理的不匹配：使用全序列上下文进行训练去噪，而推理则在没有未来上下文的有界块内提交词元。因此，使用固定大小或基于启发式的块进行解码可能会导致过早的词元承诺，因为决策是在没有完全访问可能改变这些选择的未来上下文的情况下做出的。受此启发，我们提出将独立性作为区块承诺的原则标准。如果一个块的预测与未来感知（FA）保持一致或没有对未来上下文的无未来（NF）访问，则该块是自包含的，将块边界选择重新定义为自包含性测试而不是启发式选择。基于这一原则，我们为 dLLM 引入了可变大小自包含块 (VSB)。 VSB 使用 NF 和 FA 条件下 词元级 预测分布之间的差异来评分和选择块边界，这量化了如果未来上下文被揭示，预测将如何变化。我们提供了将自包含性与预测一致性联系起来的理论依据，并且大量的实验验证了 VSB 相对于固定大小和启发式块解码的功效。