主导的自我调节方向驱动无条件连续扩散语言模型中的重复

连续扩散语言模型提供了自回归生成的替代方案，但它们的生成可能会受到重复的影响。我们发现，ELF（最近的连续扩散语言模型系列）的无条件生成比人类文本更具重复性，而 Gen-PPL（一种常见的基于可能性的度量）可以降低重复生成的困惑度，并且可以掩盖这个问题，同时使质量评估产生偏差。我们的分析将这种行为与自调节反馈循环联系起来，在该循环中，干净嵌入的预测被重复进行到后续的去噪步骤中，从而将表示驱动到与重复相关的有效一维收缩吸引子。基于这种机制，我们引入了Attractor-Contrast-Escape（ACE），这是一种无需训练推理时间干预，通过将重复中陷入的去噪路径与相对没有重复的路径进行对比来估计重复方向，并从去噪期间的自调节反馈中减去它。使用仅在 ELF-B 上估计一次的方向，ACE 将平均 4 克自重复率从 7.28% 降低到 4.48%，同时在 Gen-PPL 之外的几个文本质量指标上保持有竞争力的结果。该方向在 ELF 大小和推理配置中仍然有效，并且 ACE 还可以推广到其他无条件自条件连续扩散语言模型。这些结果将自我调节反馈确定为连续扩散语言模型中重复的来源，并表明 ACE 可以在推理过程中直接减轻这种重复。