扩散语言模型的动态分块

块离散扩散语言模型在固定大小的位置块上自回归地分解序列，从而将块内并行去噪与跨块调节解耦。我们认为这种严格的划分浪费了序列中已经存在的结构：由位置而不是内容定义的块将语义上连贯的标记分开，并将不相关的标记分组在一起。我们引入了 \textbf{D}ynamic \textbf{C}hunking \textbf{D}iffusion \textbf{M}模型（DCDM），它用内容定义的语义块替换位置块。其核心是分块注意力，这是一个可微层，它将词元路由到由可学习子空间参数化的 $K$ 集群中，并由扩散目标进行端到端塑造。由此产生的聚类分配会产生一个块因果注意掩模，在该掩模下，离散扩散降噪器在语义块上自回归地分解序列似然，严格概括块离散扩散。在参数尺度高达 1.5B 的下游基准上，DCDM 持续改进非结构化和位置块扩散基线，其优势在跨尺度上稳定且在训练早期可见。