SemBlock：用于扩散的语义边界动态块 LLM

扩散语言模型（DLM）通过迭代去噪生成文本，块式解码通过在本地块中提交词元来提高其实用性。然而，现有的分块方法通常依赖于固定的块大小或基于定界符的运行时信号，这些信号不一定与语义边界对齐。在本文中，我们提出了 SemBlock，一种用于扩散 LLM 的语义边界驱动的动态块解码框架。 SemBlock 将动态块构建制定为语义边界预测，并在冻结的 LLaDA 隐藏状态上训练轻量级预测器。为了提供监督，我们构建了 SemBound，这是一个语义边界数据集，它从话语单元、推理步骤以及跨自然语言、数学和代码任务的实现中派生边界标签。在推理过程中，SemBlock 使用预测的边界概率来选择每个动态块的结束位置。 GSM8K、IFEval、MATH 和 HumanEval 上的实验表明，SemBlock 始终优于固定块解码和 AdaBlock。我们的代码是公开的：https://github.com/TH-AI-Lab-PKU/SemBlock。