优化 dLLM 中的去噪轨迹：一种轻量级进化启发式方法

扩散大语言模型 (dLLM) 最近已成为传统自回归 (AR) 大语言模型 (LLM) 的有前景的替代方案。通过利用双向注意力和并行解码，dLLM 可以实现更高效的生成。然而，它们需要在推理时（训练期间不存在）精心设计的去噪调度程序，其选择会显着影响生成质量。虽然基于置信度的启发式调度程序显示出强大的经验性能，但它们存在两种关键的故障模式：EOS 溢出和近端偏差。通过对 Transformer 注意力模式的深入分析，我们发现这些失败源于某些位置为无效标记（例如 [MASK] 和 [EOS]）分配了不成比例的高注意力权重，从而产生了误导性的置信信号。基于这一见解，经验证据表明，有效的注意力分数可以为传统的基于置信度的启发法提供补充指导，但没有一个指标能够在所有场景中始终表现出色，这意味着最佳去噪轨迹高度依赖于上下文。为了解决这个问题，我们提出了一种使用协方差矩阵适应进化策略（CMA-ES）优化的轻量级进化启发式调度器。我们的调度程序将多个启发式特征与上下文平均场嵌入动态集成，同时仅需要 393 个可训练参数。通过四个推理和规划基准对 LLaDA 和 Dream 进行评估，我们的方法始终优于强大的基线，包括传统启发式、块自回归方法和最新的最先进 (SOTA) 方法。据我们所知，它代表了迄今为止参数效率最高的神经调度器。我们的代码可在此 https URL 获取。