论文
RangeSWA无需训练，以注意力和位置调整改善扩散LM长度外推
RangeSWA: Training-Free Length Extrapolation for Continuous Diffusion Language Models
摘要
连续扩散语言模型在文本生成任务中显示出广阔的潜力，但当生成长度超过训练长度时，容易出现文本重复、语义漂移和生成质量下降等问题。为了应对这些挑战，我们提出了 RangeSWA，一种免训练的长度外推方法。该方法结合了局部滑动窗口注意力、远距离块摘要和动态内容检索，以保留局部细节并支持远距离上下文访问。此外，通过位置重新映射、条件注意校正和去噪阶段自适应窗口调度，可以减轻由长度外推引起的生成退化。我们对多种连续扩散语言模型进行了实验，结果表明 RangeSWA 可以有效降低长文本生成中的生成困惑度和文本重复率。
