论文
用于扩散中格式受限生成的动态填充锚点 大语言模型
Dynamic Infilling Anchors for Format-Constrained Generation in Diffusion Large Language Models
摘要
Diffusion 大语言模型 (dLLM) 提供双向注意力和并行生成，使它们能够利用全局上下文并自然地支持格式受限的任务，例如可解析的 JSON 或推理模板。虽然简单的固定锚点可以强制执行此类约束，但它们通常会施加严格的跨度，从而导致推理被截断或内容冗余。为了克服这个问题，我们提出了动态填充锚点（DIA），这是一种 无需训练 方法，可以动态估计末端锚点位置以在迭代填充之前调整生成长度。这种灵活的机制确保了结构的正确性和语义的连贯性，避免了固定跨度方法的低效率。推理基准实验表明，DIA 显着提高了格式合规性和答案准确性，在 GSM8K 和 MATH 上实现了显着的零样本增益。这些结果使 DIA 成为实现可靠、结构感知生成的稳健途径。