GeoBlock：从扩散语言模型中的依赖几何推断块粒度

块扩散可以在扩散语言模型中实现高效的并行细化，但其解码行为关键取决于块大小。现有的块大小策略依赖于固定规则或启发式信号，并且没有考虑确定哪些词元可以安全地一起细化的依赖性几何结构。这激发了扩散解码的几何视图：\emph{具有强因果顺序的区域需要顺序更新，而语义内聚的区域允许并行细化。}我们引入了 GeoBlock，一个几何感知的块推理框架，它直接从注意力导出的依赖几何中确定块粒度。 GeoBlock 不依赖预定义的计划或局部置信启发法，而是分析跨词元依赖性模式来识别几何稳定的细化区域，并在解码期间动态确定适当的块边界。通过使块粒度适应依赖性几何形状，GeoBlock 保留了块扩散的并行效率，同时实施具有自回归可靠性的依赖性一致细化。 GeoBlock 不需要额外的训练，并且可以无缝集成到现有的块扩散架构中。跨多个基准的大量实验表明，GeoBlock 能够可靠地识别几何一致的块边界，并只需少量的额外计算预算即可提高块扩散的准确性。