论文
既不是并行也不是顺序:DiffusionGemma 实际上如何提交词元
Neither Parallel Nor Sequential: How DiffusionGemma Actually Commits Tokens
摘要
开放扩散语言模型作为并行、非自回归解码器进行销售,但所发送的检查点实际提交其词元的顺序几乎从未被测量过。我们使用 DiffusionGemma 26B,这是一个基于 Gemma 4 构建的蒙版离散扩散专家混合模型,挂钩其采样器的接受步骤来记录提交的画布位置、时间和置信度。在 686 提示、六机制探测套件中,我们发现它的解码既不是并行的,也不是块自回归的:它遵循部分从左到右的提交偏差,其明显强度几乎完全取决于您查看的粒度。顺序逐渐弱化,并随着分析的粗化而平稳加强,因此模型的“块大小”结果是测量标尺而不是体系结构的产物。该模型以大型同时批次的方式提交,使得批次内的大部分顺序真正未定义,而不仅仅是未观察到。该行为与制度相关:结构化 JSON 基本上以任意顺序提交,并且位置的提交置信度跟踪数学推理的正确性,但不携带事实回忆的信号。承诺是积极的,在步骤预算内的短时间内完成,而任务准确性与模型的自回归 Gemma-4 兄弟姐妹相匹配。除了这些发现之外,我们的核心贡献是方法论上的:诚实地测量解码顺序需要处理尾随 EOS 填充、区域内混淆、提交非单调性、块大小敏感性和大提交批次关系,否则每一个都可能产生并不真正存在的解码顺序结果。