何时计划、何时完善：噪声水平作为扩散语言模型的粒度轴

标准的 tokenwise 扩散 LM 在整个去噪过程中保持 token 粒度的训练损坏和推理承诺。在高噪声下，这会留下分散的局部碎片，而不是连贯的证据，使得很难形成早期的粗糙结构，而这正是规划敏感的生成所需要的。分层规划方法添加了粗略阶段，以将规划与措辞分开，但它们需要额外的规划器、块潜伏或两阶段设计。我们提出了噪声相关粒度控制（NDGC），这是一种使用噪声水平作为粒度提示的单级扩散方法。 NDGC 将训练暴露和推理承诺与去噪进展保持一致。高噪声步骤使用连贯的标记组来支持早期意义承诺，而低噪声步骤则返回到 词元级 细化。这会在没有明确的规划器或分层架构的情况下创建从粗到细的去噪规划。在受控测试、消融和写作提示中，NDGC 显示出更早的骨架形成、更好的有序恢复和更健康的输出。